La Théorie de l’Information de Claude Elwood Shannon

En premier lieu, il convient de noter que, alors que certains vertébrés peu évolués ont atteint des tailles supérieures à leurs descendants vivants hautement organisés, de la même façon, la diminution de la taille des machines a souvent accompagné leur développement et leur progrès.

Darwin amongst the machines, Samuel Butler, The Press, 13 June 1863, Lien

Des innovations remarquables dans le domaine des télécommunications et de la cryptologie tout autant que des mathématiques appliquées voient le jour pendant la furieuse période qui va de 1936 à 1956. Lors de la deuxième guerre mondiale, les bombes cryptologique ainsi que d’autres machines ont permis le déchiffrement des messages codés par Enigma. Des informations stratégiques furent échangées de part et d’autre de l’Atlantique à l’aide du téléphone crypté SIGSALY. Des calculateurs d’un nouveau type ont contribué à la réussite de plusieurs projets militaires.

La paix revenue, les trente glorieuses s’annoncent. Mais le communisme propose une autre vision et dès 1946, Est et Ouest s’affrontent de nouveau. Des accords diplomatiques et économiques sont trouvés, des blocs se créent. Ainsi, le traité secret UKUSA signé dès 1946 lie les USA, la Grande-Bretagne et d’autres pays du Commonwealth sur des questions diplomatiques et militaires. A Berlin en 1948, le blocus des secteurs occidentaux est contourné à l’aide d’un pont aérien organisé par les américains et les britanniques. Le Comecon est créé à l’Est en 1949 en réponse au plan Marshall de 1948. L’OTAN voit le jour en 1949. La guerre de Corée oppose de 1950 à 1953 les forces américaines et soviétiques. De délicats points d’équilibre sont trouvés, entre guerre impossible et paix improbable, ressources limitées et ambitions non négligeables.

L’article “A Mathematical Theory of Communication” de Shannon est publié en 1948 dans ce contexte de guerre froide. Il propose de modéliser certains des concepts clés de la transmission de l’information. La théorie s’avère remarquablement protéiforme et va influencer notablement des disciplines qui restent à être inventées telles que l’informatique, l’intelligence artificielle, les sciences cognitives ou bien la biologie moléculaire. D’autres aspects de la théorie concernent les télécommunications, la cryptologie, l’automatique, la neurophysiologie, la psychologie, la linguistique.

L’article est pourtant simplement relatif aux techniques de transmission des signaux. Il s’agit d’optimiser les méthodes de stockage et d’échange de l’information, de coder et comprimer des signaux et des messages, de minimiser la durée des transmissions, l’énergie utilisée, bref de transmettre, calculer et mémoriser de manière optimale. Les aspects logiques et statistiques de ces actions sont mis en équation et l’article de mathématique physique rencontre immédiatement un énorme et étonnant succès populaire.

Plusieurs autres travaux de Shannon sont ici évoqués. L’ingénieur avait préalablement déposé en 1946 un brevet sur la PCM, la modulation d’impulsion codée – la numérisation des signaux analogiques tels que la voix. Cette technique différente de la FM rend possible la transmission fidèle des signaux dans des canaux de capacité limitée. Le mathématicien contribue en 1948 à l’écriture d’un des chapitres du livre de Norbert Wiener “Cybernetics Or Control and Communication in the Animal and the Machine”. Il publie ultérieurement sur la théorie des jeux, la théorie des automates, les prémisses de l’intelligence artificielle.

Ce billet propose en commémoration du centenaire de la naissance de Shannon une courte biographie, une traduction de l’introduction de son article sur la théorie mathématique de la communication, une évocation de la conférence de Dartmouth, considérée comme fondatrice de l’intelligence artificielle. L’article conclut par une revue des calculateurs en service avant 1957, date de l’apparition des circuits logiques à transistors et de la conquête de l’espace.

Plan

1.1 Les technologies de l’information vers 1936

Des progrès très remarquables postérieurs à la première guerre mondiale concernent la télégraphie avec et sans fil, la téléphonie avec fil, la création et l’exploitation des réseaux de télécommunication, la télévision. En effet, des compagnies multinationales se développent alors que les échanges continentaux et transcontinentaux avec et sans fil se multiplient à cette époque. Ne sont ici rapportés que quelques évènements en relation avec le papier sur la théorie de l’information ou sur le téléphone crypté SIGSALY.

1.1.1 Les télécommunications

Des téléscripteurs (teletype writer, abrégé tty en anglais) sont mis en service en multiples modèles et rencontrent le succès dans les domaine des échanges financiers, des agences de presse, des postes et télégraphes, des transports ferroviaires et aériens. Parmi les fabricants, il est possible de citer en Grande-bretagne Creed & Company, en Allemagne Siemens & Halske de même que C. Lorenz AG, aux Etats-Unis Teletype Corporation.

Les opérateurs télégraphiques innovent aux Etats-Unis. American Telephone and Telegraph Company propose en 1931 une machine et un service lié, le TWX (Teletype Writer Exchange) développé par les téléphones Bell. Le système utilise le réseau téléphonique commuté public et le nombre d’abonnés dépasse les 10 000 en 1934. En 1932, Western Union met en service le TWS (Timed Wire Service) dont le succès sera moindre.

L’ancêtre du Telex, de la contraction des mots anglais Telegraph exchange, pour automatiser les connexions lors des échanges. Des transmission sans fil sont mis en service de part et d’autre des USA et jusqu’à Honolulu, de part et d’autre de l’Atlantique.

Les téléscripteurs encodent les messages en code Baudot, un des premiers codage binaire des caractères après le morse, puis en International Telegraph Alphabet No. 2 à partir de 1924. Ce code peut être enregistré sur ruban perforé d’une largeur de 5 bits. Des débits de 50 bauds et 60 mots par minute sont atteints.

Un nouveau partage des bandes radios est fait lors de la Conférences Mondiale des radiocommunications et mis en service en 1929. La radiotélégraphie connait son âge d’or dans la marine marchande et militaire, l’aéronautique et les chemins de fer, alors que la radiogoniométrie permet aux navires et aux aéronefs de faire le point et de connaitre leur position de manière plus précise.

En France les travaux d’Édouard Belin retiennent l’attention des éditeurs de presse et des lecteurs. L’inventeur français met au point le bélinographe, appareil portable ancêtre du fax. Une transmission transatlantique d’image est réalisée par radiotélégraphie en aout 1921 entre New York et La Malmaison. Des bulletins météorologiques sont transmis en 1930. Un dispositif analogique équipe des voitures de journalistes. Ceux-ci transmettent leurs images à leur rédaction par radiotélégraphie ou par téléphonie. Cinq quotidiens nationaux sont équipés en 1939 des dispositifs d’émission et de réception.

Qu’est-ce que le bélinographe, INA 1:53 : Lien

Le système britannique de transmission d’image par câble Bartlane est mis en service en 1920. Harry G. Bartholomew and Maynard D. McFarlane mettent au point les appareils qui se servent du câble télégraphique transatlantique pour transmettre de part et d’autre des images numérisées sous la forme d’un message encodé sur ruban perforé au format Baudot. 5 niveaux de détail d’une même image sont ainsi transmis. Il faut attendre 1956 pour qu’une première liaison téléphonique avec câble soit possible.

Les travaux du britannique Alec Reeves vont montrer une importance particulière dans le domaine de la téléphonie. Reeves travaille depuis 1927 à Paris pour la compagnie multinationale américaine International Telephone and Telegraph (ITT) dans les laboratoires de la société française Le Matériel Téléphonique. L’objet principal de son invention est de fournir des systèmes électriques de transmission du signal sans bruit de fond. Les applications envisagés concernent les téléscripteurs, les systèmes téléphoniques, la transmission de la voix.

Des brevets sur la Modulation d’Impulsion Codée / Pulse Code Modulation (PCM) intitulés Systèmes de signalisation électrique et Electric Signaling System, sont déposés en 1938 et 1939 et jusqu’en 1957 dans différents pays pour plusieurs sociétés (EPO : Lien). Reeves dépose en octobre 1938 pour Le Matériel Téléphonique, société acquise par ITT en 1925, un brevet français (FR 852183). Le brevet britannique d’octobre 1939 l’est pour Le Matériel Téléphonique (GB 535860). Le brevet belge de novembre 1939 est déposé pour la Bell Telephone d’Anvers (BE 437148). Le brevet américain pour la International Standard Electric (ITT) est déposé en 1939 et délivré en 1942 (US 2272070 : Lien). Le brevet Suisse de décembre 1947 mentionne la Standard Telephon und Radio AG. Le brevet néerlandais de décembre 1957 concerne de nouveau la Bell Telephone d’Anvers (NL 87334).

La PCM consiste à numériser un signal analogique quelconque. Cela présente un immense intérêt pour la téléphonie, la radio, la télévision, la musique enregistrée. Avec un signal analogique, chaque fois que le signal est amplifié, le bruit contenu dans le signal est également amplifié si bien qu’un bruit additionnel est créé. Avec la PCM, il devient possible de régénérer l’impulsion de départ sans amplification du bruit.

Cependant, le brevet de Reeves nécessitait un montage complexe et onéreux alors possible uniquement avec des tubes électroniques. L’invention ne sera pleinement opérationnelle qu’avec SIGSALY fin 1942 comme nous allons le voir, et plus tardivement avec l’arrivée des transistors. Reeves reçoit cependant en 1965 la médaille Stuart Ballantine pour ses travaux précurseurs sur la PCM.

Le voder (Voice Operating DEmonstratoR) ou vocodeur est présenté par les Bell Telephone Labs à l’exposition universelle de New York en 1939. L’engin susceptible de synthétiser parole ou musique fait forte impression. Homer Dudley publie en Octobre 1940 son article « The Carrier Nature of Speech » dans le Bell System Technical Journal.

« She saw me » Vidéo 0:43, New-York, exposition universelle de 1939, Bell Laboratories : Lien

1.1.2 La cryptologie

La cryptographie et la cryptanalyse vont également jouer un rôle important dans la naissance de l’informatique. Depuis la fin de la première guerre, les travaux s’avère nombreux dans ce domaine.

1.1.3 Les radiodiffusions

En Allemagne, Fritz Pfleumer développe en 1928 et brevète en 1929 un appareil qui enregistre la voix sur une bande de papier enduite de poudre de fer. Sa machine utilise un amplificateur à lampes. La firme AEG rachète le brevet en 1930. Elle perfectionne les têtes magnétiques, les mécanismes de transport de la bande et les amplificateurs. Parallèlement, des travaux de mise au point de la bande magnétique sont menés aux usines de l’IG Farben, aujourd’hui BASF. L’ensemble est commercialisé sous le nom de Magnetophon.

Premier modèle industriel, le modèle Magnetophon K1 est présenté à l’exposition radiophonique de Berlin en 1935 conjointement par AEG et IG Farben. Le Magnetophon K2 sort en 1936, suivi la même année par le K3, premier magnétophone mobile d’un poids de 50 kilos. Le magnétophone K4 est mis au point en 1938 et rapidement utilisé par les studios de radio allemands. La bande offre de nets avantages en termes d’enregistrement, de manipulation et de stockage ainsi qu’un temps de lecture de 20 minutes. Les stations s’en servent pendant la guerre pour diffuser musique et propagande enregistrée. La bande magnétique va trouver des usages dans le domaine du calcul comme nous allons le voir.

Aux États-Unis en 1938 et 1939, le St. Louis Post-Dispatch est le premier journal diffusé par Radio facsimilé. Il est délivré journellement sur imprimante par la station de radio W9XZY à Saint Louis. Les lecteurs fournissent ainsi leur propre papier thermosensible. Le système est mis au point par William G. H. Finch qui crée en 1935 le Finch Telecommunications Laboratories pour produire et commercialiser ses produits. Le système facsimilé de la radio RCA est montré au pavillon RCA de l’exposition universelle de New York en 1939.

Des enfants de New-York lisent un journal du Missouri transmis par radio en 1938 : Lien

1.1.4 La télévision

  • 1928 : Hovannes Adamian montre une télévision en couleur à Londres.
  • 1931, le 14 avril : première transmission française, par René Barthélemy, devant 800 invités, d’une image de trente lignes (court-métrage et prises de vues en direct) entre le laboratoire de la Compagnie des Compteurs de Montrouge et l’école supérieure d’électricité de Malakoff située à 2 kilomètres. C’est la première transmission par émetteur, d’autres ayant été réalisées précédemment mais par fil.

1. Claude Elwood Shannon (1916-2001)

Après un double “Bachelor of Science” (licence) en mathématiques et en génie électrique passé à l’Université du Michigan à Detroit, Shannon entreprend des études d’ingénieur au MIT de Boston. Il suit en 1936 les cours de Norbert Wiener sur la théorie du signal, l’analyse harmonique et les transformations de Fourier. Un emploi à temps partiel en tant que chercheur assistant au département de génie électrique du MIT lui permet de financer ses études. Shannon manipule l’analyseur différentiel de Vannevar Bush. En fonction de 1927 à 1944, ce calculateur analogique général est le plus avancé de son époque. Il peut résoudre de manière graphique des équations différentielles du sixième degré.

De nombreux dispositifs électriques améliorés ou innovants apparaissent et deviennent largement employés avant guerre parmi lesquels, les relais électromécaniques et les tubes électroniques à vide. Les secteurs de ce qui est appelé maintenant le calcul numérique intensif, la gestion des données et les télécommunications utilisent ces composantes pour mettre au point de nouvelles générations de machines.

1.2 Master et doctorat

Le jeune étudiant admire Edison, lit Boole, Whitehead A treatise on Universal Algebra with Applications, Couturat The Algebra of Logic. Shannon effectue en 1938 un stage d’été aux Bell Telephone Laboratories de New-York et profite de son expérience précédente sur l’analyseur différentiel de Bush.

Son mémoire de master soutenu au MIT en 1938 sous la direction du professeur Hitchcock A Symbolic Analysis of Relay and Switching Circuits montre que des réseaux de relais et de commutateurs permettent de résoudre des problèmes d’algèbre booléenne éventuellement complexes. Composés uniquement de relais, des circuits électriques peuvent être analysés ou bien au contraire synthétisés d’une manière optimisée en se basant sur l’analogie entre circuits et opérations de l’algèbre. Des séries de calculs électriques analogues au Calcul des Propositions peuvent alors être entrepris à l’aide de circuits électriques particuliers.

Au-delà des opérations d’arithmétique élémentaire, le mémoire original de Shannon propose à titre d’exemple d’application et dans l’esprit d’un brevet : un compteur de bulletins de vote, un sommateur en base 2, une table contenant les facteurs et indiquant les nombres premiers des entiers de 1 à 100 000. Le rapport remporte un large succès chez les électroniciens américains. Il est publié en 1938 dans le Transactions of the American Institute of Electrical Engineers. Une théorie des circuits de commutation (switching circuit theory) devient alors connue des électrotechniciens.

In fact, any operation that can be completely described to the required accuracy (if numerical) in a finite number of steps using the words « if », « or », « and », etc, can be done automatically with relays

En fait, toute opération qui peut être décrite complètement avec la précision requise (pourvu qu’elle soit numérique) en un nombre fini d’étapes en utilisant les mots « si », « ou », « et », etc, peut être faite automatiquement avec des relais

Shannon, A Symbolic Analysis of Relay and Switching Circuits, 1937

Shannon obtient simultanément en 1940 un master de science en Génie électrique et un doctorat (PhD) en Mathématiques sur un sujet de Génétique des populations “An Algebra for Theoretical Genetics”. Un modèle de notation susceptible de trouver des applications en Génétique et Dynamique des populations est proposé, tenant compte des phénomènes (reproduction, mutation) qui se produisent lors du cycle de vie de populations eucaryotes.

1940, le post-doctorant est appelé à séjourner à l’Institute for Advanced Study (IAS) à Princeton. Il croise en ces lieux des scientifiques de renom venus d’Europe tels que les mathématiciens et physiciens Hermann Weyl, John von Neumann, Albert Einstein ou le logicien Kurt Gödel. Von Neumann est professeur de mathématique à Princeton ainsi qu’à l’IAS. Il se montre actif dans plusieurs domaines incluant la logique, la mécanique quantique et l’économie.

De décembre 1940 à août 1941, Shannon est embauché par Warren Weather avec le titre de consultant aux laboratoires Bell de New-York fréquentés précédemment en tant que stagiaire. Important changement personnel, Shannon rencontre Norma Levor. Ils se marient en 1940. Ce premier mariage ne sera pas un succès. Le divorce est prononcé un an plus tard. Norma se remarie à Ben Barzman, un scénariste canadien, et poursuit une carrière d’écrivain et d’actrice.

Toujours inspiré par ses travaux précédents sur l’analyseur différentiel de Bush, le mathématicien publie en avril 1941 dans Studies in Applied Mathematics son article « Mathematical theory of the differential analyzer ». Un modèle de calculateur analogique général est proposé. Il introduit la notion de GPAC (General Purpose Analog Computer). Un tel dispositif se compose de plusieurs opérateurs interconnectés dans le but de calculer des fonctions. Ce papier se montre important pour l’informatique théorique. L’équivalence fonctionnelle entre le GPAC envisagé par Shannon en 1941 et une machine de Turing est une question actuellement en cours de résolution.

1.3 Deuxième guerre mondiale

Les États-Unis entrent en guerre le 8 décembre 1941. De 1941 à 1947, Bush occupe l’importante fonction de directeur de l’Office of Scientific Research and Development. Il coordonne les activités de la défense, de l’industrie et de l’université pour l’effort de guerre. Shannon travaille à l’automatisation des commandes de tir d’un canon antiaérien en compagnie de Richard B. Blackman et de Hendrik Bode. Le problème est celui d’automatiser des dispositifs conduits par un directeur de tir électromécanique. Le calculateur établit la vitesse et la direction de la cible. Il extrapole le positionnement futur ainsi que les propriétés dynamiques des projectiles pour transformer cette information en élévation et azimuth pour les canons. Des équations intégrales et équations aux dérivées partielles sont résolues par la méthode de Wiener-Hopf, une technique de mathémaique appliquée.

Shannon publie en janvier 1942 un document resté longtemps classé « The theory and design of linear differential equation machines« . Une application des graphes de flux de signal – une sorte de graphe dirigé – consiste en la mise au point de circuits qui rendent possible et instantané en électronique analogique la résolution d’équations différentielles linéaires. Un rapport classé est finalement publié en 1948 dans Research and Development Board. « Data Smoothing and Prediction in Fire-Control Systems » est signé de Blackman, Bode et Shannon.

Le jeune ingénieur change ensuite de projet. Il devient actif en 1942-1943 sur le téléphone crypté sans fil SIGSALY pour en mettre au point certaines composantes techniques et les principes de chiffrement. Il a l’occasion de prendre le thé à la cafétéria des Bell Labs et de discuter avec Alan Turing, consultant britannique sur les questions du chiffrement de la parole, de nouveau en visite aux États-Unis de Novembre 1942 à Mars 1943.

Précédant Shannon de quelques années, Turing avait également étudié les mathématiques et la cryptologie à Princeton. Il suit en effet de 1936 à 1938 des cours à l’Institute for Advanced Study. Turing a écrit des articles sur l’approche mathématique du chiffrement et travaille à cette époque à Bletchley Park sur le décryptage des messages allemands. Les alliés sont confrontés à plusieurs machines cryptographiques pour les messages de haute importance : les versions d’Enigma, les Machines de Lorentz SZ40 et SZ42, le télescripteur secret Geheimshreiber T52 de Siemens & Halske.

A partir de juin 1941, les services de renseignement militaire britanniques appellent Ultra pour Ultra-secret les méthodes utilisées pour le renseignement d’origine électromagnétique. Le Colossus Mark 1 devient opérationnel en décembre 1943, après 11 mois de construction par une équipe de trois personnes dirigée par Thomas Flowers. Dix exemplaires en seront construits. La machine est dédiée à la cryptanalyse des messages chiffrés par le G-Schreiber.

Le Colossus Mark 1 est le deuxième calculateur après celui d’Atanasoff fonctionnant à l’aide de tubes à vide, conçu spécifiquement pour la cryptanalyse. Des bombes cryptologiques de différentes séries fonctionnent en 1943 à la fois au Royaume-Uni et aux États-Unis. Les messages interceptés en Europe et sur les mers sont déchiffrés en grand nombre, particulièrement ceux cryptés par Enigma, le téléscripteur chiffré utilisé par les armées allemandes sur le terrain.

Shannon évoque dans son interview de 1982 ses discussions avec Turing dans lesquelles la cryptologie n’aurait pas été abordée pour raison de secret militaire. Les sujets portaient – raconte-t-il – sur le fonctionnement du cerveau humain, sur celui des machines et de ce qu’il est autorisé d’en attendre. Les calculateurs peuvent ils imiter la pensée humaine pour faire autre chose que du calcul ? Des machines bio-inspirées vont elles pouvoir mimer l’intelligence humaine ?

L’article du musée virtuel néerlandais cryptomuseum.com révèle une activité de Turing et Shannon non négligeable sur le projet SIGSALY développé aux Bell Labs. Les États-Unis réalisent lors de l’entrée en guerre et de l’attaque de Pearl Harbor que la voix s’avère critiquement nécessaire pour lancer une alerte ou bien mener une négociation à haut niveau. Mais aucun système crypté fiable de la parole n’existe en 1941.

Développé aux États-Unis à partir de 1942, SIGSALY, un appareil de 50 tonnes devient fonctionnel en avril 1943. Il va rester en activité jusqu’en 1946. Bien que volumineux, coûteux pour son fonctionnement en moyens humains et gourmant en énergie, il s’avère remarquablement innovant. La numérisation et le chiffrement d’un signal vocal sont introduits. La représentation en modulation d’impulsion codée (PCM) d’un signal se décompose en trois opérations : échantillonnage, quantification, codage.

Shannon met au point sur SIGSALY la PCM, la modulation d’impulsion codée. Il intervient comme Turing en tant que cryptanalyste. Il collabore avec John Robinson Pierce sur la mise au point de la partie technique. Un bruit de fond enregistré sur disque vinyl – un signal analogique mémorisé – sert de masque jetable (chiffre de Vernam, one-time pad) pour crypter et décrypter en temps réel le message codé. Des horloges doivent être synchronisées de part et d’autre du canal pour que le système soit opérationnel. La communication sans fil se fait en ondes haute fréquence.

Shannon et Turing disposent d’une bonne compréhension de l’ensemble du fonctionnement. Des exemplaires de SIGSALY seront successivement déployés à Washington, Londres, Alger, Brisbane, Hawaii, Oakland, après la libération à Paris, à Guam, et après-guerre à Frankfort, Berlin, Tokyo, Manille. Le premier réseau de téléphonie diplomatique hautement sécurisé est ainsi créé, utilisé par Roosevelt, Churchill et le haut commandement militaire jusqu’à la fin de la guerre.

SIGSALY, Crypto Museum, Lien

Pendant ce temps à Harvard, von Neumann croisé en tant que professeur par Shannon lors de ses études à l’Institute for Advanced Study (IAS) participe de 1942 à 1946 au projet Manhattan. Il effectue certains calculs sur Harvard Mark I, mis au point en 1944 pour IBM par Howard Aiken.  Dès 1943, Aiken a formé une petite équipe de « codeurs » pour tester puis programmer sa machine. Rapidement s’y adjoint une jeune enseignante de mathématiques recrutée par l’US Navy, Grace Hopper, considérée comme l’une des premières programmeuses, cent ans certes après Ada Lovelace (1815-1852). Cette machine d’Harvard intéresse grandement Princeton et Von Neumann.

Le mathématicien propose en 1945 une architecture générale de construction d’un calculateur numérique, lors de la conception à Princeton avec Julian Bigelow d’un calculateur nommé du nom de l’institut machine IAS. Une quinzaine de clones de l’IAS sont construits car von Neumann ne dépose pas de brevet et écrit librement sur le sujet. Le physicien se montre actif également sur l’ENIAC, une machine de l’Université de Pennsylvanie finalisée en 1945 sous la direction de John William Mauchly, et programmée par une équipe entièrement féminine.

1.4 Après guerre

Le 2 Septembre 1945, la paix est signée par les Etats-Unis à bord de l’USS Missouri. Petit clin d’oeil à l’histoire, Shannon publie la veille, le 1er Septembre 1945 un article remarqué des spécialistes, « A Mathematical Theory of Cryptography« . Des algorithmes codent des messages échangés qui doivent être déchiffrés et peuvent être interceptés. L’article reste classé classé jusqu’en 1957. Dans son article de 1949 « Communication Theory of Secrecy Systems », Shannon prouve mathématiquement que le masque jetable de Vernam correctement implémenté ne peut être cassé.

Les efforts fournis se tournent après guerre vers des applications civiles et commerciales. 32 brevets furent déposés sur le projet SIGSALY et maintenus confidentiels pour certains pendant 32 ans. Shannon publie en 1946 en compagnie de Bernard Oliver son brevet américain sur la PCM (brevet US 2 801 281). Un autre brevet est également déposé par John Robinson Pierce. Les trois auteurs publient « The Philosophy of PCM » en 1948.

En 1948, les laboratoires Bell nomment « transistor » leur tout nouveau composant électronique destiné à remplacer les relais et tubes électroniques à vide des unités centrales des machines de deuxième génération (1957-1965). La même année, Wiener publie son best-seller « Cybernetics Or Control and Communication in the Animal and the Machine » en collaboration avec Shannon pour le très mathématique chapitre 6. Le livre remporte un vif succès auprès du grand public et sera même présenté à la Maison Blanche. Nous évoquerons ultérieurement quelques concepts de la cybernétique dont le caractère réellement scientifique reste discuté.

shannon

1.5 La théorie de Shannon

Longuement mûrie, la première partie de l’article de Shannon : A Mathematical Theory of Communication est publiée en juillet 1948 dans la revue Bell System Technical Journal. La deuxième partie parait en octobre. Une théorie de la communication est proposée. Inspirée de la théorie de la cryptographie, elle vise à optimiser les systèmes de transmission de l’information ainsi que le fonctionnement des calculateurs et machines de transmission de l’information. Il s’agit d’améliorer l’efficacité des signaux échangés, d’optimiser la quantité d’information transmise dans des canaux dont la capacité est limitée et dont les performances sont limitées par le bruit de fond.

Parmi ses aspects novateurs, l’article définit dès l’introduction le bit pour binary digit ou chiffre binaire. Bit signifie encore « petit morceau » ou bien « particule » en anglais. Le bit est l’unité binaire, élémentaire et atomique de l’information dont la définition relève de la logique.

shannon-bit
Un doigt levé ou baissé, un interrupteur ouvert ou fermé, une pièce de monnaie positionnée coté pile ou face, constituent des exemples simples de l’unité binaire de l’information mémorisée nommée bit pour binary-digit (chiffre binaire), par Shannon et JW Tukey.

Après un bref hommage rendu aux logarithmes, cette intéressante fonction qui permet de transformer une addition en multiplication et une soustraction en division, Shannon propose un schéma accompagné d’un modèle mathématique qui symbolise la transmission de l’information quelque soit son type : information discrète (numérique), continue (analogique) ou bien mixte (numérique et analogique). Le cas de l’information discrète avec et sans bruit est développé dans la première partie, aboutissant à la démonstration de multiples théorèmes illustrés d’exemples de transmission de messages écrits en anglais et de propositions relevant de l’étude statistique des langues écrites.

Le calcul de l’entropie de l’information est ensuite proposé. Cet indicateur statistique permet de caractériser plusiurs choses : la quantité maximale d’information qu’un canal peut transmettre en bits par unité de temps, ou bien l’hétérogénéité des composantes d’un message. La formulation retenue – une fonction pondérée du logarithme en base 2 de la probabilité de réception d’un signal – répond à la même équation que l’entropie de Boltzmann établie dans le contexte de la thermodynamique. Une même formule mathématique permet de décrire la dissipation de l’énergie dans un système et la transmission de l’information dans un canal.

De manière simplifiée et quelque peu intuitive, le calcul de l’entropie permet de mesurer le niveau de « désordre » dans un système, le niveau de variation potentielle des signaux constitutifs d’un message, l’hétérogénéité d’un signal, sa redondance ou bien encore les propriétés statistiques d’un alphabet. Elle mesure du côté du récepteur l’incertitude moyenne d’apparition d’un signal. Plus l’entropie d’un signal discret est élevée, plus la quantité d’information susceptible d’être transmise de manière concise est importante. Alors que l’entropie de Boltzmann est formulée en joules (énergie) par degré Kelvin, l’entropie de Shannon est quantifiée en bits.

Précédé d’un chapitre de Warren Weaver et reliant les deux parties initiales de Shannon, le livre « The Mathematical Theory of Communication » parait l’année suivante en 1949. Mathématicien de formation, Warren Weaver est directeur de 1932 à 1955 de la division Sciences naturelles de la Fondation Rockefeller. Il est notamment considéré comme le créateur du mot « Biologie moléculaire » et s’intéresse à la promotion de la traduction automatique des langues.

Dans son chapitre du livre, Weaver vulgarise les aspects mathématiques de la théorie. Il en souligne l’aspect contre-intuitif. En effet, la théorie ne concerne ni la sémantique, ni le contexte du message, éléments pourtant centraux de la langue naturelle, que celle-ci soit écrite ou parlée. Dans le livre cosigné, l’article « A » qui signifie « Une » a été remplacé par « The » : « La Théorie … ».

Une traduction de l’introduction de l’article original de Shannon est ici proposée, suivie du plan traduit également en français. Deux figures de l’article original sont ensuite discutées de même que le titre. La Théorie de la (télé)communication va se transformer effectivement en Théorie universelle de l’information, ce qui peut poser question pour le lecteur curieux de mécanique, d’électronique, de génétique.


2. A Mathematical Theory of Communication, by C.E. Shannon

2.1 Traduction de l’introduction

Le récent développement de diverses méthodes de modulation telles que la PCM (modulation d’impulsion codée – la voix numérisée) et la PPM (modulation en position d’impulsions – communication optique) qui échangent de la bande passante contre du rapport signal-bruit a intensifié l’intérêt d’une théorie générale de la communication. Une base d’une telle théorie se trouve dans les articles importants de Nyquist et Hartley à ce sujet. Dans le présent article, nous étendrons la théorie pour inclure un certain nombre de nouveaux facteurs, en particulier l’effet du bruit dans le canal, et les économies possibles dues à la structure statistique du message original et dues à la nature de la destination finale de l’information.

Le problème fondamental de la communication est celui de reproduire en un point, soit exactement soit approximativement un message sélectionné à un autre point. Fréquemment, les messages ont une signification; c’est à dire qu’ils se réfèrent à ou sont corrélés avec certains systèmes, avec certaines entités physiques ou conceptuelles. Ces aspects sémantiques de la communication ne relèvent pas du problème de l’ingénierie. L’aspect important est que le message réel est un élément choisi parmi un ensemble de messages possibles. Le système doit être conçu pour fonctionner pour chaque sélection possible, pas seulement celle qui sera effectivement choisie car celle ci est inconnue au moment de l’envoi.

Si le nombre de message dans l’ensemble est fini alors ce nombre ou toute fonction monotone de ce nombre peut être considéré comme une mesure de l’information produite quand un message est choisi parmi un ensemble, tous les choix étant équiprobables. Comme l’a souligné Hartley le choix le plus naturel est la fonction logarithmique. Bien que cette définition doive-t-être généralisée considérablement lorsque l’on considère l’influence des statistiques du message et lorsque nous avons une gamme continue de messages, nous allons utiliser dans tous les cas une mesure essentiellement logarithmique.

La mesure logarithmique est plus commode pour diverses raisons:

  1. Elle est plus utile de manière pratique. Des paramètres d’importance en ingénierie tels que le temps, la bande passante, le nombre de relais, etc., ont tendance à varier linéairement avec le logarithme du nombre de possibilités. Par exemple, l’ajout d’un relais à un groupe double le nombre d’états possibles des relais. On ajoute 1 au logarithme en base 2 de ce chiffre. Un doublement du temps multiplie au carré le nombre des messages possibles, ou double le logarithme, etc.
  2. Elle est plus proche de notre sens intuitif que de la mesure elle-même. C’est étroitement liée à (1) puisque nous mesurons intuitivement les entités en comparaison linéaire avec les standards communs. On ressent, par exemple, que deux cartes perforées doivent avoir deux fois la capacité d’une seule pour le stockage de l’information, et deux canaux identiques deux fois la capacité d’un seul pour transmettre l’information.
  3. Elle est mathématiquement plus appropriée. Un grand nombre d’opérations critiques sont simples en termes de logarithme mais exigeraient autrement un retraitement maladroit en terme de nombre de possibilités.

Le choix d’une base logarithmique correspond au choix d’une unité de mesure de l’information. Si la base 2 est employée, les unités qui en résultent peuvent être appelées digits binaires, ou plus brièvement bits [binary digits], un mot suggéré par JW Tukey. Un dispositif à deux positions stables, comme un relais ou un circuit à bascule, peut stocker un bit d’information. Un nombre N de tels dispositifs peut stocker N bits, puisque le nombre total d’états possibles est 2N et log22N = N. Si la base 10 est utilisée, les unités peuvent être appelées chiffres décimaux. Puisque

log2 M = log10 M / log10 2 = 3.32 log10 M,

un chiffre décimal correspond approximativement à 3 ⅓ bits. Une roue à chiffres sur une machine à calculer de bureau a dix positions stables a donc une capacité de stockage d’un chiffre décimal. Dans les travaux analytiques dans lesquels l’intégration et le calcul différentiel sont impliqués, la base e est parfois utile. Les unités d’information résultantes seront appelées unités naturelles. Un changement de la base a en base b exige simplement une multiplication par logb a.

Par un système de communication, nous entendrons un système du type de celui indiqué schématiquement dans la Fig. 1. Il est constitué essentiellement de 5 parties:

  1. Une source d’information qui produit un message ou une suite de messages destinés à être communiqués au terminal récepteur. Le message peut être de différents types: par exemple (a) Une séquence de lettres comme dans un système de type télégraphe ou téléscripteur; (b) Une simple fonction du temps f(t) comme dans la radio ou la téléphonie; (c) Une fonction du temps et d’autres variables comme avec la télévision noir et blanc – ici le message peut être pensé comme une fonction f(x;y;t) de deux coordonnées spatiales et du temps, l’intensité lumineuse au point (x;y) et au temps t sur la plaque du tube de récupération; (d) Deux ou plusieurs fonctions du temps, disons f(t), g(t), h(t) – c’est le cas dans le système de transmission du son en trois dimensions ou si le système est destiné à desservir plusieurs canaux individuels en multiplex. (e) plusieurs fonctions de plusieurs variables – avec la télévision couleur, le message consiste en trois fonctions f(x,y,t), g(x,y,t), h(x,y,t) définies dans un continuum tridimensionnel – nous pouvons aussi penser à ces trois fonctions comme des composantes d’un champs vecteur défini dans la région – de même, plusieurs sources de télévision en noir et blanc produiraient des « messages » constitués d’un certain nombre de fonctions de trois variables; (f) Diverses combinaisons se produisent également, par exemple pour la télévision avec une voie audio associée.
  2. Un émetteur qui intervient sur le message de manière quelconque pour produire un signal approprié à la transmission sur le canal. Dans la téléphonie cette opération consiste simplement à changer la pression sonore en un courant électrique proportionnel. Dans la télégraphie nous avons une opération d’encodage qui produit une séquence de points, de tirets et d’espaces sur le canal correspondant au message. Dans un système de multiplex PCM les différentes fonctions de la parole doivent être échantillonnées, comprimées, quantifiées et encodées, et finalement entrelacées convenablement pour construire le signal. Systèmes Vocoder, télévision et modulation de fréquence sont d’autres exemples d’opérations complexes appliquées au message pour obtenir le signal.
  3. Le canal est simplement le moyen utilisé pour transmettre le signal de l’émetteur au récepteur. Cela peut être une paire de fils, un câble coaxial, une bande de fréquences radio, un faisceau de lumière, etc.
  4. Le récepteur effectue habituellement l’opération inverse de celle effectuée par l’émetteur, reconstruisant le message à partir du signal.
  5. La destination est la personne (ou une chose) à laquelle le message est destiné.
shannon-model

Nous souhaitons considérer certains problèmes généraux impliquant des systèmes de communication. Pour ce faire, il est d’abord nécessaire de représenter les différents éléments impliqués comme des entités mathématiques, convenablement idéalisées à partir de leurs équivalents physiques. Nous pouvons grossièrement classer les systèmes de communication en trois catégories principales : discret, continu et mixte. Par un système discret, nous entendons celui dans lequel le message et le signal à la fois sont une séquence de symboles discrets. Un cas typique est la télégraphie dans lequel le message est une séquence de lettres et le signal une séquence de points, de tirets et d’espaces. Un système continu est celui dans lequel le message et le signal sont tous deux traités comme des fonctions continues, par exemple, avec la radio ou la télévision. Un système mixte est celui dans lequel des variables discrètes et continues apparaissent, par exemple, la transmission de la parole en PCM.

Nous considérons d’abord le cas discret. Ce cas présente des applications non seulement dans la théorie de la communication, mais aussi dans la théorie des calculateurs, dans la conception des échanges téléphoniques et dans d’autres domaines. De plus, le cas discret constitue une base pour les cas continus et mixtes qui seront traités dans la seconde moitié du papier.

[…]


2.2 Le plan en français

Une Théorie Mathématique de la Communication, Bell System Technical Journal, 1948

Introduction, p379, fig. 1

Partie I : Systèmes discrets sans bruit
  1. Le canal discret sans bruit, p382, théorème 1, fig. 2
  2. La source discrète d’information, p384
  3. Des séries d’approximations de l’anglais, p388
  4. Représentation graphique d’un processus de Markoff, p389
  5. Sources ergodiques et mixtes, p390, fig. 3, 4, 5
  6. Choix, incertitude et entropie, p392, fig. 6, théorème 2, fig. 7
  7. L’entropie d’une source d’information, p396, théorème 3, théorème 4, théorème 5, théorème 6
  8. Représentation des opérations d’encodage et de décodage, p399, théorème 7, théorème 8
  9. Le théorème fondamental pour un canal sans bruit, p401, théorème 9
  10. Discussion, p403
  11. Exemples, p404
Partie II : Le canal discret avec bruit

12. Représentation d’un canal discret avec bruit, p406
13. Équivoque et capacité d’un canal, p407, théorème 10, fig. 8
14. Le théorème fondamental pour un canal discret avec bruit, p410, théorème 11, fig. 9, fig. 10
15. Discussion, p413
16. Exemple d’un canal discret et de sa capacité, p415, fig. 11
17. La capacité du canal dans certains cas spéciaux, p416, fig. 12
18. Un exemple d’encodage efficace, p418

Appendice 1 : La croissance du nombre de blocs de symboles en condition d’état fini, p418
Appendice 2 : Dérivation de H, p419
Appendice 3 : Théorèmes sur les sources ergodiques, p420
Appendice 4 : Maximisation de la fréquence dans un système avec contraintes, p421

(à suivre… numéro d’octobre)

Partie III : Préliminaires mathématiques, p623

18. Groupes et ensembles de fonctions, p623
19. Ensembles de fonctions limitées par la bande, p627
20. Entropie d’une distribution continue, p628
21. Perte d’entropie dans les filtres linéaires, p633, tableau 1
22. Entropie de la somme de deux ensembles, p635

Partie IV : Le canal continu, p637

23. La capacité d’un canal continu, p637
24. La capacité d’un canal avec une limitation de puissance moyenne, p639
25. La capacité du canal avec un pic de limitation de puissance, p642

Partie V : La fréquence pour une source continue, p646

26. Fidélité des fonctions d’évaluation, p646
27. La fréquence de la source en fonction d’une évaluation de la fidélité, p649
28. Le calcul des fréquences, p650

Remerciements, p652
Appendice 5, p652
Appendice 6, p653
Appendice 7, p655

2.3 L’entropie, Figure 7

Dans le cas d’un signal binaire sans bruit, l’entropie présente plusieurs propriétés intéressantes qui, d’après Shannon, justifient son calcul. L’entropie représente la richesse en information d’un message. Soit un message constitué d’une suite de 0 et de 1, c’est lorsque la fréquence des 0 est statistiquement égale à celle des 1 que l’entropie et la quantité d’information susceptible d’être transmise sont maximales. Si un message ne contient que des 0 ou que des 1, son entropie est nulle et il ne transmet aucune information. Par analogie, la colonne d’une table de données qui contiendrait toujours la même information n’apporterait aucune variation dans l’information transmise et serait donc logiquement inutile. Le calcul de l’entropie peut être étendu à des systèmes comportant un plus grand nombre de valeurs discrètes comme dans le cas du morse, de l’alphabet.

shannon-entropy

2.4 Un système de correction, théorème 2, Figure 8

En présence de bruit, Shannon envisage dans son deuxième théorème la présence d’un « observateur » susceptible de corriger les données transmises de manière erronée. Une information supplémentaire correctrice est appliquée par l’observateur en vue de corriger les informations transmises de manière incorrecte. De manière pratique, sur les réseaux téléphoniques, la voie reste compréhensible en présence de bruit. Sur Internet par exemple, il est possible de s’assurer de l’intégrité des données transmises en calculant la somme de contrôle du fichier réceptionné et en la comparant avec celle d’origine, effectuant ainsi une sorte d’auto-rétroaction. En informatique cette fois-ci, un code correcteur est une technique de codage basée sur la redondance. Elle est destinée à corriger les erreurs de transmission d’un message dans un canal de communication peu fiable. En 2019, dans le processeur neuromorphique FSD de Tesla, des processeurs neuromorphes jumeaux dialoguent entre eux de manière cryptée, à l’image d’une conscience cybernétique en quelque sorte pour fournir des instructions d’assistance à la conduite automobile.

shannon-correction

3. Après la théorie

Le problème fondamental de la communication est celui de reproduire en un point, soit exactement soit approximativement un message sélectionné à un autre point.

Shannon

Shannon dans sa phrase d’introduction utilise le mot « point » pour symboliser à la fois l’émetteur et le récepteur. La localisation de l’information dans l’espace et le temps est donc envisagée. D’un côté l’information peut être transmise sur une distance, de l’autre elle peut être préservée et transmise dans le temps. La théorie traite indifféremment de l’information communiquée et mémorisée. La théorie de la communication (titre de l’article) est en fait une théorie de la transmission de l’information dans l’espace et le temps. Pour évoquer tout cela de manière concise, le nom de théorie de l’information a été retenu par les scientifiques.

Le mathématicien propose ensuite un cadre à sa théorie. Il exclue de son modèle l’aspect sémantique de l’information. Il se place à priori exclusivement dans le monde des machines communicantes, du traitement des signaux humains, de la linguistique, des codes et de leur fréquence. Sa théorie ne prend pas en compte les intentions de l’émetteur, ni l’attention nécessaire du récepteur, ni le contexte et les émotions générées. Trois éléments qui relèvent de la sémantique, de la psychologie, de la sociologie, du contexte.

L’émetteur émet un signal qu’il encode. Un canal de capacité limitée transmet le signal de manière bruitée. Le récepteur reçoit le signal et décode. Shannon prend en exemple de mémoire la carte perforée, en exemple de canal une paire de fils, un câble coaxial, une bande de fréquences radio, un faisceau de lumière. De nombreux dispositifs techniques sont cités comme le télégraphe ou le téléscripteur. Les exemples de messages sont des phrases écrites en morse ou en anglais. La structure des langues, les motifs répétés intéressent particulièrement le cryptographe. Ils interviennent à la fois pour favoriser la compréhension et peuvent servir d’accroche lorsqu’il s’agit de décoder un message crypté.

De manière générale, le message encode une logique partagée par l’émetteur et le récepteur. Un message incorrectement encodé ou un récepteur défaillant et l’information ne peut être transmise. Cependant, plusieurs supports peuvent contenir la même information. Des canaux différents peuvent transmettre une même information. Un même message peut être encodé de différentes manières, peut être compressé pour transiter par des canaux de capacité limitée, ou bien corrigé en cas d’erreur de transmission. La bande passante détermine les débits. Le mathématicien se place du côté du récepteur en attente d’un message. L’information résout alors une incertitude.

3.1 Quantifier et échantillonner l’information

Le bit (0 ou 1, oui ou non) reçu est défini comme unité logique et entière. Toute information transmise devient quantifiable en bits, comme l’énergie l’est en joule, la masse en kilogramme, la température en degré. Le nombre de bit peut caractériser la capacité d’une mémoire (le support), une vitesse de transmission en bit/s (le canal), une logique d’encodage (registre en 32 ou 64 bits d’un ordinateur, et au-delà du domaine des machines 4 bases possibles pour l’ADN, 22 acides aminés dans une protéine). Shannon propose ensuite le « diagramme schématique d’un système général de communication », la fameuse figure 1 reproduite en début d’article.

Toute information analogique peut être mathématiquement et physiquement transformée en information numérique sans perte en respectant une fréquence d’échantillonnage qui est une fonction de l’amplitude du signal. Un autre fameux article de Shannon publié en 1949 « Communication in the presence of noise » apporte une contribution majeure au Théorème d’échantillonnage. La PCM correspond effectivement à une numérisation de la voix. La fréquence d’échantillonnage entre en jeux pour calculer les pertes en cas de numérisation d’un signal analogique. Il est surtout possible de numériser sans perte de signal.

3.2 Entropie de Boltzmann et de Shannon

Prenez un numéro du New York Times, le livre sur la cybernétique, et un poids égal de papier de brouillon. Ont-ils la même entropie ? Oui, si vous vous en servez pour allumer le feu. Mais pas si vous êtes un lecteur. Il y a de l’entropie dans la disposition des taches d’encre.

Léon Brillouin

Variable d’état classique d’un système thermodynamique, l’entropie est surtout au fondement de la deuxième loi. Elle indique le sens de l’évolution d’un système expérimental clos, fait d’une paroi externe et d’un gaz parfait. Sans apport extérieur, le désordre qu’elle mesure ne peut qu’augmenter. Léon Brillouin tente de démontrer dans son livre de 1953 “Naissance de la théorie de l’information” l’équivalence entre l’entropie de Boltzmann et celle de Shannon. D’autres auteurs ne partagent pas ses conclusions. Un gaz parfait ne peut que difficilement être comparé à un ruban inscriptible de longueur infinie.

Quoiqu’il en soit, le calcul de l’entropie présente un intérêt pratique dans diverses disciplines. En génétique, l’entropie de Shannon permet de repérer sur un chromosome les portions d’ADN contenant le plus d’information codante. Les écologues utilisent le calcul de l’entropie pour mesurer la diversité des espèces dans un écosystème. Les sociologues mesurent l’indice de Theil fondé sur l’entropie pour observer la diversité des revenus dans une population par exemple.

3.3 Entropie et ADN, les cascades de l’information biologique

La fibre chromosomique contient, chiffré dans une sorte de code miniature, tout le devenir d’un organisme, de son développement, de son fonctionnement.

Erwin Schrödinger

Quelques mots supplémentaires doivent être ajoutés sur l’entropie et son usage au milieu du 20ème siècle. Schrödinger, un des fondateur de la physique quantique, publie en 1944 son fameux livre “What is life”. Cette publication rencontre un certain succès dans les milieux scientifiques. La notion d’entropie négative ou néguentropie, variable d’état caractéristique de la vie y est présentée. Pour Schrödinger,  l’information génétique se trouverait localisée dans des cristaux présents au niveau des noyaux des cellules eucaryotes. Le physicien autrichien dresse un portrait robot des fonctions que doit remplir la substance biochimique qui code l’information génétique. Localisée en un mince lieu favorable, la vie présente la caractéristique d’échapper sur le long terme à la seconde loi de la thermodynamique, du fait d’une information génétique transmise de génération en génération et fixée sur un support.

Caractérisé en 1953 à la suite d’une course intense entre britanniques et américains, la structure moléculaire de l’ADN – support de l’information génétique – est mise en évidence. En biologie, l’information se décline, est transmise, est inhibée, amplifiée et transformée à plusieurs niveaux. Calculée en nombre de paires de base, l’information génétique peut aussi être analysée et quantifiée en bits. L’ADN se trouve à l’origine d’une cascade d’informations de différentes natures. Il se réplique (l’ADN produit de l’ADN) en 2 bits (4 possibilités) dans le noyau cellulaire. Quatre choix de bases nucléiques (A, G, C, T) sont possibles pour la DNA polymerase. La transcription (l’ADN produit de l’ARN) se produit également en 2 bits. Quatre choix de bases nucléiques (A, G, C, U) sont possibles pour la RNA polymerase dans le but de synthétiser une molécule d’ARN.

La traduction (l’ARN produit des protéines) se produit dans le cytoplasme. Cette opération se fait en 6 bits. Une association logique est faite entre 3 bases d’ARN messager et un acide aminé. Ainsi, avec 3 bases, 64 codons sont possibles. 64 codons correspondant à 3 x 2² = 2 puissance 6 choix d’information possibles pour le ribosome. L’ARN codent pour 22 acides aminés, un codon start et un codon stop soit 24 choix possible. Quels que soient les êtres vivants, plusieurs codons codent pour le même acide aminé et le code génétique est alors dit « dégénéré ». L’ADN chromosomique et l’ADN mitochondrial constituent chez l’homme le génome.

Au niveau physiologique encore, une hormone peut être considérée comme un message analogique ciblant des récepteurs cibles et capable de moduler de multiples effecteurs. Pour une hormone, l’appareil cardiovasculaire est le canal.

La théorie de l’information modélise convenablement le fonctionnement de deux neurones. Un signal électrique transite depuis les dendrites par l’axone en direction des terminaisons et est transmis au deuxième neurone. Avec des réseaux de neurones disposés en plusieurs couches, le modèle ne semble pas approprié.

3.4 Shannon, le code génétique et le génome

La question qui peut alors se poser à l’historien est celle de savoir si Shannon connaissait les implications de sa théorie dans le domaine de ce qui lie fondamentalement l’homme à la nature, à savoir le code génétique et le génome. La thèse de Shannon concerne la génétique des populations. Cependant la théorie de l’information se rapporte aux outils de communication et de calcul créés par l’homme. Le livre de James Gleick de 2015 « L’information : l’histoire, la théorie, le déluge » propose un intéressant document d’archive confié par Elisabeth Shannon pour publication.

Dans ce manuscrit dont la date est estimée à 1949, simple liste écrite sur une feuille de classeur avec soin, Shannon compare les capacités de stockage en bits de différents objets et entités. Il trace un axe vertical nommé « bits storage capacity » (capacité de stockage en bits) échelonné de 10 puissance 0 à 10 puissance 13. En bas positionné sur 10 puissance 0, un relais ou une bascule synchrone (relay, flip flop) – 1bit. Viennent ensuite une roue crantée à 10 chiffres « digit wheel » 3×10 puissance 0 ; vers 10 puissance 3 : une carte perforée « punched card (all configs allowed)« ; vers 10 puissance 4 : frappe d’une page à interligne simple (32 symboles possibles). La constitution génétique de l’homme « genetic constitution of man » se trouve placée face à 10 puissance 5. D’autres items suivent « encyclopedia Britt » vers 10 puissance 9 et le tableau se termine en haut non loin de 10 puissance 15 par la bibliothèque du Congrès « library of congress« .

Pour Shannon, dès 1949, quatre ans avant la découverte de la structure moléculaire de l’ADN, six ans avant la définition du caryotype chez l’homme, nature et culture obéissent à une même logique, possiblement quantifiable en bits. La théorie de l’information concerne également les processus biochimiques génériques du vivant et donc la théorie de l’évolution. Se pourrait-il que certaines des idées de Darwin se retrouvent à la fois dans le vivant et dans les machines ?

Shannon rencontre à cette époque aux Bell Labs Mary Elizabeth Moore. Ils se marient en 1949 et auront trois enfants.

3.5 La cybernétique (1948-1956)

Je sais que j’ai été compris lorsqu’on m’a répondu

Shannon

3.5.1 Aux Etats-Unis

L’immédiat après guerre correspond à une période intense dans le domaine du calcul comme de la cryptanalyse. Des brevets sont déposés. Des sociétés se créent, disparaissent et fusionnent autour de technologie plus ou moins éphémères. Le Magnetic Drum Digital Differential Analyzer (MADDIDA) est développé entre 1946 et 1949 pour la société Northrop par Floyd Steele. Ce calculateur est dédié à la résolution des équations différentielles. Il est équipé d’un tambour magnétique.

Les calculateurs GOLDBERG (1947) et DEMON (1949) de la société Engineering Research Associates (ERA) dédiés à la cryptanalyse intègrent également ce composant. ERA commercialise après guerre des tambours magnétiques pour différents clients y compris IBM. Mais des tambours anglais et suédois sont également produits comme par exemple sur le BESK suédois (1953) dédié aux prévisions météorologiques.

Dans une ambiance maccarthyste (1950-1954), le caractère multidisciplinaire de l’information, de la communication et de l’action inspire de nombreux scientifiques de différentes spécialités tels que Wiener, Von Neumann, Warren McCulloch, Margaret Mead, Lawrence Kubie. La “Cybernétique” et la “Théorie de l’Information” rencontrent un succès international.

Warren Weaver publie en 1949 son mémorandum « Translation« . Cette note diplomatique du directeur de la division Sciences naturelles de la Fondation Rockefeller rend compte de discussions avec Wiener, McCulloch et Pitt actifs sur les réseaux de neurones, le britannique Andrew Booth et Shannon notamment. La possibilité d’une traduction basique, de faible qualité mais rapide, faite par un calculateur spécialisé est suggérée.

Shannon aborde en 1950 la théorie de la programmation du jeu d’échecs avec son article Programming a Computer for Playing Chess. Ce papier inspire tous les programmes d’échecs passés et actuels. Il construit la même année sa machine à jouer aux échecs.

L’ingénieur assiste en 1950, 1951 et 1953 aux conférences de la fondation Macy (1946-1956) dans lesquelles sont discutées conjointement des questions de physique, d’automatique, de psychologie et d’économie. Il y présente en 1952 un automate résolveur de labyrinthes construit avec Elisabeth Shannon pour le câblage des circuits. Une souris prénommée Thésée retrouve seule son chemin dans un dédale paramétrable. Un calculateur trouve de manière brute et mémorise les solutions à un problème complexe.

Les modèles et processus de décision évoqués dans les réunions Macy concernent aussi bien les machines à calculer, que la neurophysiologie, la psychologie dans un esprit béhavioriste. Wiener y développe les concepts de « boîte noire« , d’action et de feedback (rétroaction). Ces mouvements de pensée influencent notablement les scientifiques de cette époque. Ainsi, George Armitage Miller publie en 1951 Language and Communication. Il deviendra quelques années plus tard avec Noam Chomsky l’un des fondateurs des Sciences cognitives. Gregory Bateson publie en 1951 Communication: The Social Matrix of Psychiatry, alors même que les travaux sur la propagande du publicitaire et sociologue Edward Bernays rencontrent un vif succès. Le caractère de science humaine ou de science dure de la cybernétique reste cependant discuté.

La métaphore animale devient à la mode. De multiples robots plus ou moins autonomes sont mis au point à cette époque, créés par des scientifiques de diverses disciplines, motorisés par batterie, contenant des capteurs et dirigés par électronique analogique. Précurseur, le neurobiologiste William Grey Walter s’intéresse à l’homéostasie dans le vivant. Il crée dès 1940 les tortues Elmer et Elsie, connues également sous le nom de tortues de Bristol. Elles réagissent aux sollicitations lumineuses et sonores. Marvin Minsky et Dean Edmonds créent le robot résolveur de labyrinthe SNARC en 1951.

Shannon publie en 1953, Computers and Automata. Cet article résume brièvement certains des développements récents dans le domaines des automates et du calcul non numérique. Des machines caractéristiques sont décrites, incluant des machines logiques, des machines jouant à des jeux, des machines capables d’apprendre. Des questions théoriques sont discutées, telles qu’une comparaison entre les calculateurs et le cerveau, la formulation de Turing des calculateurs et les modèles de Von Neumann de machines autoréplicatives. Cet article va stimuler comme nous allons le voir l’imagination de jeunes mathématiciens et ingénieurs.

La démonstration de traduction automatique de l’Université de Georgetown et d’IBM se déroule au début de l’année 1954. Plus de soixante phrases sont traduites du Russe à l’Anglais par un prototype. La longue aventure de la traduction automatique des langues naturelles débute, médiatisée en couverture du New York Times.

Aux Etats-Unis, les calculateurs investissent également le secteur bancaire. La Bank of America commande au Stanford Research Institute at Menlo Park un prototype de calculateur capable d’accélérer le traitement des chèques. Un prototype de calculateur à usage général nommé ERMA (Electronic Recording Machine, Accounting) est construit à Stanford de 1950 à 1955. Les premiers calculateurs fabriqués en série apparaissent aux Etats-Unis à cette époque.

John Eckert crée pour le prototype EDVAC (Electronic Discrete Variable Automatic Computer) délivré en 1949 un nouveau type de mémoire, la mémoire à ligne de délai qui fonctionne à l’aide de mercure. Cet impressionnant composant est issu des recherches sur les radars. Un système de bande magnétique innovant sert également à la gestion des entrées et sorties. EDVAC est conçu à l’Université de Pennsylvanie pour faire face aux besoins du Laboratoire de recherche en balistique (Ballistics Research Laboratory) de l’US Army sur l’Aberdeen Proving Ground. Une bataille juridique oppose ensuite le laboratoire aux concepteurs Eckert et Mauchly.

En effet, directement inspirée de ces recherches militaires, la série commerciale UNIVAC fabriquée par la Eckert-Mauchly Computer Corporation (EMCC) voit le jour. UNIVAC I, premier ordinateur commercial réalisé aux États-Unis est vendu et mis en service au Bureau de recensement en 1951. L’enregistreur-lecteur de bande magnétique UNISERVO constitue le système principal d’entrée-sortie sur ce calculateur particulièrement innovant. UNIVAC I utilise 5 200 tubes à vide, pèse 13 tonnes. L’unité centrale accueille la mémoire à ligne de délai. Celle-ci mesure 4,3 m × 2,4 m × 2,6 m à elle seule.

Grace Hopper écrit pour cette machine un programme spécial A-0 system. Ce programme ancêtre des compilateurs transforme des spécifications en code machine. Le concept de compilateur émerge à cette époque et répond à l’importante question : comment parler à l’aide d’un seul langage à des machines qui comprennent des langues différentes ?

Des sociétés se créent et disparaissent ou évoluent à grande vitesse. En cours de fabrication d’UNIVAC, EMCC est vendu en 1950 à Remington Rand qui fusionne ensuite à Sperry Corporation en 1955 pour devenir Sperry Rand. L’ERA 1101 ultérieurement nommé UNIVAC 1101 construit par Engineering Research Associates est annoncé publiquement en décembre 1951.

De son côté, IBM initie la série 700. L’IBM 701 sort en 1952. Des tubes de Williams mis au point par les britanniques Frederic Calland Williams et Tom Kilburn servent pour la mémoire vive. Ils doivent être refroidis et s’avèrent peu fiables. Ils sont remplacés sur IBM 704 sorti en 1954 par la révolutionnaire mémoire à tores magnétiques. Ce type de mémoire est mis au point précédemment par plusieurs membres du MIT parmi lesquels Jay Forrester, chef de projet sur Whirlwind I, un prototype militaire financé par l’US Navy entre 1945 et 1951. Une âpre bataille juridique oppose ultérieurement les concepteurs du MIT à IBM pour l’exploitation des brevets.

Tout autant que les batailles juridiques, la guerre froide joue un rôle important dans le développement des nouvelles techniques de calcul à cette époque. La RAND corporation – à ne pas confondre avec Remington Rand – est fondée en 1948. Ce think-tank toujours en activité de nos jours est présent en différents états américains, à Bruxelles, Londres et au Moyen-Orient. L’organisme produit des rapports d’expertise susceptibles d’influencer les politiques publiques en une multitude de domaines, essentiellement économiques, politiques et militaires. Son activité de recherche concerne également à cette époque le calcul et ses aspects théoriques.

Ainsi John Nash y mène une activité d’expertise et publie en 1952 Some Games and Machines Playing them. Le laboratoire de Shannon aux Bell Labs est visité. Le jeu de plateau Hex intrigue le mathématicien en période de guerre froide. Nash en souligne dans son rapport certains intérêts en relation avec des stratégies militaires et politiques. La possibilité d’une attaque aérienne russe suivie d’un bombardement nucléaire des cités américaines est activement évoquée à cette époque par les militaires relayés des médias.

3.5.2 Au Royaume-Uni

Mais revenons aux calculateurs si vous le voulez bien et traversons l’Atlantique. Côté britannique, des prototypes de machines de calcul retiennent l’attention après guerre.

En 1946, Williams et Burns invente le tube de Williams, un tube cathodique utilisable comme mémoire vive. Williams met au point en 1948 la Small-Scale Experimental Machine, premier ordinateur dont le programme est enregistré dans la même mémoire que les données. Cette machine sert de base au Manchester Mark I (1948) dessiné par Williams et Kilburn. Le tandem renouvelle l’expérience sur Manchester Mark II. La société Ferranti se base sur leurs travaux pour fournir en 1951 un des premier calculateur commercial d’usage général, le Ferranti Mark 1.

Constructeur d’engins de simulation pour les opérateurs radar, membre du Ratio Club et présent à Dartmouth, Albert Uttley construit de son côté en 1950 pour les télécommunication britanniques le TREAC Computer.

Turing entreprend dès la fin 1945 la construction de l’Automatic Computing Engine, premier calculateur capable d’exécuter des calculs en virgule flottante, finalisé en 1953. Il développe en 1948 Turochamp, un programme de jeu d’échecs inabouti. Il devient également membre du très britannique Ratio Club et publie en 1950 Computing machinery and intelligence. Un test de décision anthropomorphique maintenant appelé test de Turing est proposé pour évaluer les capacités des machines et des programmes. Pour Turing, l’esprit peut être fondamentalement caractérisé par sa capacité à communiquer à l’aide d’un langage humain. Le britannique disparaît en 1954 mais laisse une empreinte forte et durable sur les mathématiques appliquées et l’intelligence artificielle, comme nous allons le voir plus loin.

Kathleen Booth invente de son côté le langage assembleur en 1948. Alors que le langage machine était le seul possible précédemment, l’assembleur est un langage de bas niveau, spécifique d’une machine, qui représente une série d’instructions sous une forme lisible par l’homme. Kathleen Booth base ce qui sera ultérieurement appelé l’assembleur sur des travaux théoriques débutés en 1947, alors qu’elle programme l’APEXC, une machine mise au point à l’Université de Birkbeck près de Londres par Andrew Donald Booth, son futur époux.

L’APEXC est dédié à l’interprétation des spectres de diffraction des rayons X en vue d’analyser la structure de la matière cristallisée. Le couple est influencé dans ses avancées par la rencontre en 1947 de Von Neumann et Herman Goldstine à l’IAS. Les travaux de Princeton avec Bigelow portent alors sur la mise au point de la machine IAS (1953), première machine à architecture Von Neumann. Andrew Booth met au point en 1951 au collège de Birkbeck le Hollerith Electronic Computer (HEC). Andrew Booth gagne ultérieurement le Canada pour se montrer actif dans le domaine de la traduction automatique.

La compagnie Elliott Brothers construit en 1950 son premier calculateur numérique spécifique, l’Elliott 152. Il s’agit d’un prototype de calculateur fonctionnant à l’aide de tubes électronique dont le programme est dédié au calcul en temps réel du contrôle de tir des canons dans la marine. A coté de ces machines dédiées, la société se montre active dans la fabrication de calculateurs généraux et dans la fabrication de systèmes automatiques civils. Devenue Elliott Automation Ltd en 1957, elle commercialise des machines scientifiques dans le domaine scientifique.

3.5.3 En france

Du côté des fabricants de calculatrices, l’ingénieur François-Henri Raymond a l’occasion de rencontrer en 1945 Haiken à Harvard. Fortement impressionné, il fonde en 1948 la Société d’Electronique et d’Automatisme (SEA). Des séries de calculateurs électroniques analogiques sont construits et vendus en France de 1950 à 1960. Trois exemplaires de la machine CAB 1011 sont vendus au service du chiffre du SDECE (CAB : Calculatrice Arithmétique Binaire) et utilisée jusqu’en 1965. Une machine CUBA (Calculatrice Universelle Binaire de l’Armement) est installée au Laboratoire Central de l’Armement à Arcueil. Le premier exemplaire de la série CAB 2000 est livré chez Matra en exécution d’un marché du Service Technique Aéronautique. La technologie de ces machines est à base de tubes et de diodes au germanium. Tous les ordinateurs SEA, sauf CUBA, sont dotés des mémoires à tores de ferrite.

Bull présente la Gamma 2 au salon du SICOB d’octobre 1951, évolution repensée de sa calculatrice C3. La version commerciale Gamma 3 (1952-1960) rencontre un grand succès avec 1000 exemplaires vendus. IBM poursuit en France la construction de différents modèles dans son usine de Corbeil-Essonnes. L’effectif de l’atelier d’assemblage français dépasse les 1000 employés en 1954.

L’Institut Blaise Pascal du CNRS est fondé an 1946 avec pour objectif de créer une machine scientifique purement française. En 1951, Louis Couffignal dirige l’organisation du colloque international ‘Les machines à calculer et la pensée humaine’. Norbert Wiener, W. Ross Ashby, Howard Aiken, Torres-Quévédo fils, Louis Lapicque, Lucien Malavard sont réunis à Paris. Alors que les tentatives de construction d’un prototype français de calculateur scientifique ne parvient pas à se concrétiser, une machine Elliott Brothers britannique est finalement achetée en 1956. De Possel dirige le laboratoire de calcul numérique à l’Institut Henri Poincaré en 1957 et remplace Couffignal à l’IBP cette même année. Il va se montrer actif dans les domaines de la traduction automatique et de l’informatique documentaire.

Côté français, les accueils de la cybernétique et de la théorie de l’information se montrent globalement mitigés. Cependant, Dominique Dubarle, logicien et philosophe, a lu et compris Neumann, Wiener, Descartes, Hobbes et quelques autres. Il publie dans Le Monde en 1948 Vers la machine à gouverner auquel il oppose Le meilleur des Mondes de Huxley.

Albert Ducrocq met au point en 1953 « Job le Renard électronique ». Claude Lévi-Strauss, anthropologue et sociologue, se montre lui aussi influencé par le courant cybernétique. Il publie en 1955 Les mathématiques de l’homme. Le franco-américain Léon Brillouin, physicien et professeur de mathématique appliquée à Harvard de 1947 à 1949 publie en 1956 Science and Information Theory, traduit en français en 1958. Il remarque par exemple qu’un jeu de 32 cartes est susceptible d’être codé en 5 bits. Certaines des relations entre les lois de l’information, des probabilités, de la thermodynamique et les automates sont explorées.

3.5.4 En URSS

Les premiers calculateurs russes fabriqués en série sont datés de 1953. Le Strela est fabriqué à sept exemplaires dans les années 1953 à 1957. Ils utilisent pour leur mémoire vive des tubes de Williams ainsi que des mémoires ROM pour stocker les programmes. Les données sont stockées sous forme de cartes perforées et de bandes magnétiques. Bashir Rameev joue un rôle majeur dans la conception de ces machines localisées de l’autre côté du rideau de fer.

3.6 L’effet de mode 1956

Une certaine effervescence règne à cette époque de part et d’autre de l’Atlantique. Suite au bon fonctionnement des prototypes, les calculateurs IBM, Ferranti et Bull sont fabriqués en série pour des applications militaires, scientifiques, de gestion, de jeu et de théories. Plusieurs événements significatifs pour la carrière de Shannon vont alors se dérouler successivement en 1955 et 1956.

3.6.1 Le projet de recherche de Dartmouth

John McCarthy, Marvin Minsky, Nathaniel Rochester et Shannon proposent formellement le 31 août 1955 la tenue d’une conférence qui doit se dérouler un an plus tard. Le terme Intelligence artificielle est choisi par McCarthy, jeune enseignant de mathématique à l’université privée de Dartmouth. Le groupe entend se démarquer du courant Cybernétique de Wiener. Le titre retenu est le suivant : Dartmouth Summer Research Project on Artificial Intelligence. Les financements réunis par McCarthy proviennent de la fondation Rockefeller. L’un des participants, Solomonoff a eu l’heureuse idée d’archiver et de mettre en ligne les documents qui témoignent de l’événement original. La page personnelle de McCarthy contient certains documents transcrits.

Les réalisations effectives et propositions de recherche des quatre organisateurs de la conférence sont ensuite détaillées. Il est rappelé que Shannon a développé la théorie statistique de l’information, a travaillé sur les circuits de commutation, la conception de machines apprenantes, la cryptographie et la théorie des machines de Turing. Minsky, un jeune doctorant de Harvard diplômé en mathématique, a construit une machine, le SNARC, qui simule l’apprentissage par des réseaux de neurone. Sa thèse soutenue en 1954 s’intitule « Neural Nets and the Brain Model Problem« .

Rochester travaille à IBM. Il s’est occupé du développement des radars pendant sept ans, des calculateurs pendant sept ans. Il a contribué à la construction de l’IBM 701 et travaille également sur les réseaux de neurones artificiels sur IBM 704.

McCarthy a travaillé sur la théorie des machines de Turing, la vitesse des calculateurs, la relation cerveau environnement et l’usage des langages par les machines.

L’appel à rassemblement propose sept thèmes. 1/ Les calculateurs automatiques, l’écriture de langages de programmation fonctionnels; 2/ La programmation d’un calculateur dans le but de manipuler des textes, implémentation d’une grammaire et d’une logique dans les langages de programmation; 3/ Les réseaux de neurones, arrangement des réseaux pour faire émerger la notion de concept. Les travaux de Uttley, Raschevsky, Farley et Clark, Pitts et McCulloch, Minsky, Rochester et Holland sont cités; 4/ Théorie de la complexité d’un problème de décision, la complexité des fonctions nécessaires, Shannon, McCarthy; 5/ L’auto-amélioration, théories de l’auto-amélioration de machines intelligentes; 6/ Abstractions, classification des types d’abstraction et de leur usage par les machines; 7/ Rôle du hasard et de l’intuition dans la créativité.

Parmi les personnalités citées dans l’appel, Albert M. Uttley s’intéresse au Royaume-Uni à la conception d’un calculateur à probabilité conditionnelle. Il a construit le TREAC Computer pour les télécommunications britanniques. Nicolas Rashevsky souvent cité par McCarthy publie sur les fondements physico-mathématiques de la biologie. Actifs au MIT, Belmont Farley et Wesley Clark s’intéressent à la reconnaissance des formes. Ils parviennent à simuler sur calculateur en 1954 et 1955 sur IBM 704 l’entrainement d’un réseau de 128 neurones artificiels dans le but de reconnaître des motifs visuels simples. Ils découvrent de plus que la destruction aléatoire de jusqu’à 10% des neurones n’affecte pas la performance globale. Ils communiquent Generalization of pattern recognition in a self-organizing system à la conférence Session of Learning Machines de 1955.

Walter Pitts et Warren Sturgis McCulloch font figure de véritables pionniers de l’IA avec leur neurone formel, modèle mathématique et informatique d’un neurone biologique. Ils publient dans le Bulletin of Mathematical Biophysics A Logical Calculus of the Ideas Immanent in Nervous Activity et concluent avec emphase que tout comme une machine de Turing, un réseau de neurones pourvu de dispositifs afférents et efférents adéquats peut faire n’importe quel type de calcul mathématique. Walter Pitts est un jeune logicien ancien élève de Rashevsky qui va contribuer à fonder les sciences cognitives. Neurophysiologiste, McCulloch travaille depuis 1952 au Research Laboratory of Electronics du MIT. Ses études portent sur la perception des signaux visuels. Il a joué précédemment un rôle actif régulier aux conférences de Macy (1946-1953).

John Henry Holland est un jeune diplomé en psychologie, mathématique et électrotechnique. Il publie en 1956 avec Rochester : Tests on a cell assembly theory of the action of the brain, using a large digital computer. Des réseaux de neurones sont simulés sur IBM 704. La formation d’assemblages automatique de cellules à partir d’un réseau non organisé de neurones est démontrée, ainsi qu’un mécanisme plausible pour une mémoire à court terme.

Les candidats à la participation doivent décrire leurs travaux dont les idées peuvent être critiqués pendant le mois précédant la période de travail. Des séminaires de recherches et travaux en sous-groupes sont prévus et possibles sur une durée de deux mois. Vingt personnes se réunissent finalement à Dartmouth de fin juin à août 1956. Une liste de quarante-sept personnes potentiellement intéressées par un compte-rendu est dressée par McCarthy.

Parmi les présents W. Ross Ashby (psychiatre), Julian Bigelow (ingénieur concepteur de la machine IAS), Tom Etter, John Holland (psychologue, ingénieur), Donald M. MacKay (physicien), Warren S. McCulloch (neurophysiologiste, cybernéticien), Trenchard More (mathématicien, ingénieur), John Nash (mathématicien, expert RAND), Allan Newell (mathématicien, expert RAND), Herbert Simon (psychologue), Abraham Robinson (mathématicien), Arthur Samuel (ingénieur), David Sayre (ingénieur, membre de l’équipe des programmeurs de Backus, créateur de FORTRAN en 1957), Oliver Selfridge (ingénieur), Ray Solomonoff (mathématicien).

L’une des interventions remarquable est celle faite par Simon, Newell et Shaw. Comme le précise McCarthy dans ses mémoires, ceux-ci décrivent la deuxième version du langage IPL (Information Processing Language), un langage du type assembleur qui permet la gestion des listes chaînées. Il est implémenté uniquement à cette époque sur le JOHNNIAC de la Rand Corporation. Le trio expose la réalisation d’un programme écrit à l’aide de ce langage, le Logic Theorist. Celui-ci prouve 38 des 52 théorèmes du Principia Mathematica, ouvrage de Whitehead et Russell considéré comme un des livres les plus influents de l’histoire de la logique. Le programme basé sur l’exploration d’un arbre de recherche trouve des preuves nouvelles et parfois plus élégantes à certaines des démonstrations. Un type restreint d’intelligence que l’on croyait précédemment réservé à l’homme – la logique mathématique – peut être avantageusement confié à des calculateurs pourvus d’un langage. Certains raisonnements peuvent être mécanisés. La nécessité d’un langage de haut niveau apparaît. Les deux premières réalisations seront nommées Fortran (1957), en cours de rédaction à l’époque de Dartmouth, et Lisp (List processing) publié par McCarthy en 1958.

[We] invented a computer program capable of thinking non-numerically, and thereby solved the venerable mind-body problem, explaining how a system composed of matter can have the properties of mind.

Herbert Simon

Du calcul des prédicats émerge progressivement en histoire de l’intelligence artificielle une logique possiblement floue. Des réseaux de neurones artificiels peuvent effectuer des tâches complexes. Des programmes informatiques explorent des graphes en vue de démontrer des théorèmes, de jouer à des jeux ou de synthétiser de la musique. Malade en 1956, Von Neumann décède l’année suivante. Quatre membres de la conférence de Dartmouth recevront ultérieurement le prix Turing (Minsky, McCarthy, Simon, Newell), deux autres le prix Nobel d’économie (Simon en 1978, Nash en 1994). Le cinquantième anniversaire du colloque commémoré en 2006 expose les défis de l’intelligence artificielle pour les cinquante ans à venir !

3.6.2 Automata Studies

Déjà en préparation lors de l’appel à réunion, Shannon et McCarthy publient en 1956 « Automata Studies » dans le volume 34 de Annals of Mathematics Studies. Ce volume de 300 pages réédité cinq fois jusqu’en 1972 rassemble des articles de Shannon, McCarthy, Ashby, Culbertson, Davis, Kleene, Leeuw, MacKay, Minsky, Moore, Shapiro, Uttley, Von Neumann. Il y est essentiellement question de plusieurs théories nécessaires au développement des calculateurs. Kleene, von Neuman, Culbertson Minsky et Moore développent la notion d’automate fini.

Ainsi Kleene, dans Representation of Events in Nerve Nets and Finite Automata réinterprète les travaux précédents de McCulloch et Pitts sur les réseaux de neurones pour en fournir une interprétation fondatrice de la Théorie des automates. La notion d’expression régulière est introduite. Ce qui est maintenant connu comme théorème de Kleene en informatique théorique affirme qu’un langage est régulier (rationnel) si et seulement s’il est reconnu par un automate fini. Les langages réguliers correspondent au niveau le plus fondamental (niveau 3) de la hiérarchie des langages formels, introduite par Noam Chomsky, membre du MIT, dans son article de 1956 Three models for the description of language et développé ultérieurement. Ainsi, une expression régulière telle que « /^[^\W][a-zA-Z0-9_]+(\.[a-zA-Z0-9_]+)*\@[a-zA-Z0-9_]+(\.[a-zA-Z0-9_]+)*\.[a-zA-Z]{2,4}$/ » identifie une adresse mail valide et peut être représentée sous la forme d’un graphe symbolisant l’action d’un automate fini.

Shannon publie un article sur une machine de Turing universelle à deux états. Pour Chomsky, la machine de Turing correspond au niveau le plus complexe de la hiérarchie des langages formels (niveau 0). Après évocation des travaux de Descartes dans « De Homine« , Shannon et McCarthy poursuivent la rédaction de leur éditorial dont un court extrait est ici traduit.

Le problème de donner une définition précise au concept de « penser » et de décider si une machine donnée est capable ou non de penser a provoqué de grandes discussions animées. Une définition intéressante a été donnée par A. M. Turing: une machine est qualifiée capable de penser si elle peut, sous certaines conditions prescrites, imiter un être humain en répondant suffisamment bien à des questions pour tromper un interrogateur humain pendant une période raisonnable de temps. Une définition de ce type a pour avantage d’être opérationnelle, ou, dans le vocabulaire des psychologues, de nature béhavioriste. Les notions métaphysiques de conscience, d’ego et notions analogues ne sont alors pas nécessaires. Automata Studies, 1956

3.6.3 Le wagon orchestre

La théorie de l’information a peut être été exagérée, considérée au-delà de ses réalisations effectives.

Information theory has perhaps ballooned to an importance beyond its actual accomplishment.

Shannon

La créativité et le doute sont sans doute deux des moteurs antagonistes de la méthode scientifique. Cette même année 1956, Shannon s’attache à expliquer les limites de la Théorie de l’information dans son article de 1956, The Bandwagon, la « voiture orchestre » – l’effet de mode nommé métaphoriquement par les psychologues en référence au véhicule qui joue lors d’un défilé électoral aux Etats-Unis. Les systèmes biologiques sont, estime Shannon trop complexes pour être modélisés par la seule théorie de l’information, le seul béhaviorisme, la seule psychanalyse, la seule logique mathématique. Les données de la psychologie, en particulier de la psychologie sociale, de l’économie et d’autres sciences humaines doivent être analysées scientifiquement avant qu’une théorie complète de la communication chez l’homme ne puisse être élaborée. La théorie doit être considérée avec recul et son étendue à d’autres disciplines qu’au traitement des signaux, qu’aux machines et aux calculateurs résulte sans doute d’un enthousiasme excessif.

Par ailleurs, Shannon quitte progressivement à cette époque les Bell Labs pour poursuivre une carrière universitaire au MIT. Il devient ainsi professeur invité du Research Laboratory of Electronics au MIT en 1956, professeur permanent en 1958, professeur émérite en 1978 pour faire valoir ses droits à la retraite. Il reste cependant affilié aux Bell Labs jusqu’en 1972.

Conclusion

J’ai travaillé à mes moments perdus sur une analyse de certaines propriétés fondamentales des systèmes généraux de transmission de l’intelligence.

Lettre de Shannon à Vanevar Bush, 16 février 1939

Plusieurs implications semblent se dégager de la théorie de l’information. Dans le cadre d’une élection par exemple, lorsqu’un référendum est organisé, un bit d’information est transmis d’un individu à une urne, dispositif physique rendant possible le calcul de choix communs. Alors que disparaissent progressivement les pièces, billets de banque et chèques, les monnaies et autres systèmes de paiement peuvent être observées au prisme des lois de l’information. Dans le domaine médical, un stimulateur cardiaque par exemple, sorte de directeur cybernétique, vient réguler les pulsations lorsque celles-ci s’avèrent irrégulières.

L’étude aussi exhaustive que possible des calculateurs généraux de première génération met bien en évidence des relations de filiation entre les machines et les langages artificiels qu’elles comprennent, basées sur le nom des concepteurs et le succès ou non de l’entreprise sur le marché des calculateurs électroniques, sur la persistance de programmes tels que les compilateurs et les langages de haut niveau. Ainsi les machines de Zuse KG rencontrent le premier un succès dans l’immédiat après-guerre, alors que le langage Plankalkül ne parvient à la postérité que de manière anecdotique. Les machines construites par Eckert, Mauchly et Von Neumann donnent lieu à la série UNIVAC. Le prototype Whirlwind de 1951 voit sa mémoire à tores magnétiques largement adoptée par plusieurs séries incluant le mythique IBM 704 (1954) – calculateur des premiers réseaux de neurones, le AN/FSQ-7 (1956) développé dans un cadre militaire, et le Ferranti Mercury (1957).

En France, IBM propose en 1955 le nom « ordinateur » pour son modèle IBM 650 produit à plus de 2000 exemplaires, première machine de série destiné à la gestion. La société Bull réplique en proposant « ordonnateur » pour désigner le modèle scientifique de son calculateur Gamma. L’Académie Française adopte en 1967 le mot informatique afin de désigner la « science du traitement de l’information » ou plus exactement la « Science du traitement rationnel, notamment par des machines automatiques, de l’information considérée comme le support des connaissances humaines et des communications dans les domaines techniques, économiques et sociaux ». Le terme de Systémique est actuellement préféré à celui de Cybernétique, dont seul les aspects militaires ont été retenus par la langue.

Shannon est considéré comme l’un des pionniers de l’intelligence artificielle pour ses travaux dans lesquels théorie et pratique se croisent. Il met au point plusieurs automates électromécaniques au début des années 50, s’intéresse également à la programmation du jeu d’échecs, organise la conférence de Dartmouth considérée comme une étape importante dans l’histoire de l’informatique et de l’intelligence artificielle. Une faible part de ses travaux a été ici survolée et replacée aussi bien que possible dans le contexte des époques traversées. Quelques vidéos en annexe souvent en anglais donnent la parole aux acteurs, montrent des machines, évoquent des histoires d’entreprises.

Dernière petite précision : le mathématicien prend plaisir à pratiquer le monocycle, à jongler, à construire des machines apparemment inutiles, amusantes. Un jeu se caractérise par une quantité d’information visible du joueur et une quantité inconnue en provenance du partenaire, de l’adversaire ou du système. La théorie des jeux doit pour Shannon être mise en électronique. Sa maison est remplie d’inventions parmi lesquelles on peut mentionner le THROBAC, un calculateur qui fait des opérations arithmétiques en chiffres romains, une machine à jongler avec trois balles. Il invente le jeu des commutations dans lequel deux joueurs s’opposent en s’appropriant les nœuds d’un graphe. Une machine reconstitue le Rubik’s Cube. Avec l’Ultimate Machine – étrange automate à portée philosophique dont l’idée originale est à porter au crédit de Marvin Minsky – il est possible de dire que tout finit, tout commence par un déclenchement.

Quelques liens

A. Musées, archives, histoire, généralités et théories

  • Crypto Museum, cryptomuseum.com, a virtual museum in the Netherlands : Lien
  • Computer History Museum (CHM) : Lien
  • History of Computers (HOC) : HOC
  • cyberneticzoo.com, a history of cybernetic animals and early robots : Lien
  • FEB-patrimoine (Bull) : Lien
  • La chronologie et les prémices des ordinateurs (1931 à 1959) : Lien
  • List of IEEE (Institute of Electrical and Electronics Engineers) milestones : Lien
  • Calculatrice mécanique : Lien; Mécanographie : Lien, Vidéo 1:54; Histoire de l’informatique : Lien, Histoire des ordinateurs : Lien; Chronologie de l’informatique : Lien; Histoire de la cryptologie : Lien; Histoire de l’intelligence artificielle : Lien; Informatique théorique : Lien; Méthode formelle (informatique) : Lien; Théorie des jeux : Lien; Théorie des automates : Lien; Switching circuit theory : Lien; History of computing hardware : Lien; List of vacuum tube computers : Lien; Semi-automatic ground environment (SAGE system) : Lien
  • IBM 704 sings Daisy Bell with MUSIC (1962), Bell Labs, Mathews : Vidéo 1:48; HAL 9000 sings Daisy Bell, 2001 Odyssée de l’espace, Kubrick, 1968 : Vidéo 1:14

B. Langages artificiels, architectures

  • Calculateur analogique : Lien, Lien HOC
  • Entropie (thermodynamique) : Lien, Vidéo 10:05
  • Director (military) : Lien; Fire-control system : Lien
  • Machine de Turing (1936), Turing : Lien, Vidéo 7:30
  • Logique des fluides (1936), Vladimir Lukyanov : Lien
  • General Purpose Analog Computer (1941), Shannon, théorie du calculateur analogique : Lien
  • Néguentropie (1944), Schrödinger : Lien
  • Architecture de type Harvard (1944) : Lien
  • Architecture de Von Neumann (1945) : Lien
  • Plankalkül (1942-1945) : Lien
  • Langage machine : Lien
  • Assembleur (1947-), Booth : Lien
  • Cathode-ray tube amusement device (1947), jeu électronique : Lien
  • Turochamp, Turing (1948) : Lien
  • Entropie de Shannon (1948) : Lien, Vidéo 16:03
  • Cybernétique (1948) : Lien, Vidéo 5:16
  • Automate fini : Lien, Vidéo 8:27
  • Berthie the Brain (1950), jeu de tic-tac-toe, Canada : Lien
  • Shannon switching game (1951) : Lien
  • Jeu Hex (1951), Shannon, Edward F. Moore : Lien
  • A-0 System (1951), Hopper : Lien
  • Speedcoding (1953), langage sur IBM 701, Backus : Lien
  • Réseau de neurones artificiels (1954), Farley, Clark : Lien
  • Information Processing Language (1956-1966), sur JOHNNIAC et IBM, RAND corporation, Newell, Simon, Shaw : Lien
  • Logic Theorist (1956), JOHNNIAC, Newell, Simon, Shaw : Lien
  • Intelligence artificielle (1956-) : Lien
  • Fortran (1957-), langage de haut niveau, Backus : Lien, Vidéo 12:55
  • Lisp (1958-), langage de haut niveau, McCarthy : Lien
  • Loi de Moore (1965) : Lien
  • James Watson sur comment il a découvert l’ADN, (1953, 2005) : Vidéo 20:11
  • Le stockage de données sur ADN décolle ? (2017), Le Temps : Lien
  • Tesla FSD Computer (Hardware 3), un exemple d’architecture neuromorphe sécurisée ? (2019) : Lien , Lien

C. Personnalités citées

  • Leonardo Torres Quevedo (1852-1936), automatique, calculateurs : Lien
  • Herman Hollerith (1860-1929), mécanographie : Lien
  • Ralph Hartley (1888-1970), télécommunications : Lien
  • Léon Brillouin (1889-1969), physique : Lien
  • Vannevar Bush (1890-1974), mathématiques appliquées : Lien, HOC, Vidéo 4:39
  • Gilbert Vernam (1890-1960), cryptologie : Lien
  • Norbert Wiener (1894-1964), cybernétique : Lien, HOC
  • Warren Weaver (1894-1978) : Lien,
  • Warren McCulloch (1898-1969) : Lien
  • Howard Aiken (1900-1973), Harvard Mark series : Lien
  • Vladimir Lukyanov (1902-1980), intégrateur hydraulique : Lien
  • Louis Couffignal (1902-1966) : Lien
  • John von Neumann (1903-1957) : Lien, Vidéo 56:43
  • John Vincent Atanasoff (1903-1995), calculateurs : Lien
  • Gregory Bateson (1904-1980) : Lien
  • George Stibitz (1904-1995), Bell Laboratories machines : Lien, Vidéo 7:59
  • Tommy Flowers (1905-1998) : Lien
  • Grace Hopper (1906-1992) : Lien
  • John William Mauchly (1907-1980), ENIAC, EMCC : Lien
  • Victor Shestakov (1907-1987) : Lien
  • Conny Palm (1907-1951) : Lien
  • Stephen Cole Kleene (1909-1994), Théorie des automates : Lien
  • William Grey Walter (1910-1977) : Lien
  • Konrad Zuse (1910-1995), Zuse KG, Plankalkül : Lien, HOC
  • John Robinson Pierce (1910-2002), PCM, informatique musicale, … : Lien
  • Frederic Calland Williams (1911-1977) : Lien
  • Alan Turing (1912-1954) : Lien, HOC
  • Julian Bigelow (1913-2003), Machine IAS, Macy, Dartmouth : Lien
  • Herman Goldstine (1913-2004) : Lien
  • François-Henri Raymond (1914-2000) : Lien
  • Claude Shannon (1916-2001) : Lien, Vidéo 4:14, Vidéo 8:23, Vidéo 29:31
  • Herbert Simon (1916-2001) : Lien
  • Andrew Donald Booth (1918-2009) : Lien
  • Floyd Steele (1918-1995) : Lien
  • Jay Wright Forrester (1918-2016), Whirlwind, mémoire à torres magnétiques : Lien
  • Bashir Rameev (1918-1994), Strela : Lien
  • John Eckert (1919-1995), ENIAC, EMCC : Lien
  • Nathaniel Rochester (1919-2001), IBM : Lien
  • Albert Ducrocq (1921-1987) : Lien, Vidéo 10:27
  • Kathleen Booth (1922-), assembleur : Lien
  • John Backus (1924-2007), FORTRAN, IBM : Lien
  • Max Mathews (1926-2011), informatique musicale : Lien, Vidéo 6:56
  • Allen Newell (1927-1992), RAND Corporation : Lien, Vidéo 16:33
  • John McCarthy (1927-2011), mathématiques appliquées : Lien, Vidéo 27:31
  • Marvin Minsky (1927-2016), intelligence artificielle : Lien, Vidéo 30:35

D. Artefacts dédiés au contrôle ou au calcul

Des machines ou bien des composantes de machines agencées en architectures et mues par des langages contribuent à l’émergence des calculateurs de première génération. Des solutions analogiques fournissent des résultats ingénieux et remarquablement pertinents à certaines questions.

d.1 Des calculateurs généraux et appliqués

  • Abaque, boulier, arithmétique : Vidéo 10:33
  • Clepsydre de Ctésibios : Lien, Vidéo 0:11
  • Machine d’Anticythère (87 av. J.-C.), calculateur analogique, astronomie : Lien, Vidéo 7:51
  • Régulateur à boule (1764), James Watt, machine à vapeur : Lien
  • Arithmomètre (1820), Thomas de Colmar : Lien
  • Servo-moteur (1859), Joseph Farcot : Lien
  • Machine à prévoir les marées (1873-1970), Lord Kelvin (William Thomson), navigation en mer : Lien
  • Analyseur différentiel (1876), James Thomson : Lien
  • Tabulatrice (1890), Herman Hollerith : Lien
  • Telautomaton (1898), Nikola Tesla, télécommande, bateau : Lien
  • Telekine (1903), Torres Quevedo, télécommande, bateau : Lien
  • Machines joueuses d’échecs, El Ajedrecista (1914, 1920), Torres Quevedo : Lien, HOC, Vidéo 0:25
  • Arithmomètre électromécanique (1920), Torres Quevedo : Lien
  • Enigma (1923-1945), calculateur cryptologique : Lien, Vidéo 3:45
  • Analyseur différentiel de Bush (1927-1944), calculateur général analogique : Lien, Vidéo 2:59
  • Calculateur Mallock (1933), Cambride, UK : Lien
  • IBM 405 (1934-1949), calculateur mécanographique : Lien
  • Z1 (1935-1938), Zuse : Lien
  • Intégrateur à eau (1936), Vladimir Lukyanov, calculateur : Lien
  • Mémoire à tambour (1936), Tauschek, Engineering Research Associates, IBM, mémoire de masse : Lien
  • Model K (1937), Stibitz : Lien, HOC, Vidéo 7:59
  • Bombe cryptologique (1939-1945), UK, US, calculateur de cryptanalyse : Lien, Vidéo 6:14
  • Vocodeur, The Voder (1939), télétransmission, synthèse vocale : Lien, Vidéo 6:17
  • Torpedo Data Computer (1940), marine de guerre : Lien
  • Calculatrice électromécanique Bull C3 (1940), calculateur mécanographique : Lien
  • Machine de Lorentz (1940-1945), calculateur cryptologique : Lien
  • Mark 8 Fire Control Computer (1944), lutte antiaérienne : Lien
  • SIGSALY (1943 – 1946) : Lien, Lien, Vidéo 9:01
  • MADDIDA (1946), Northrop Corp., analyseur différentiel, Floyd Steele : Lien
  • IBM 604 (1948), calculateur mécanographique : Lien
  • MONIAC (1949), Phillips, New Zealand, économie : Lien, Vidéo 4:36
  • Machine joueuse d’échec (1950), Shannon : Lien
  • Thésée, La souris électrique (1951, 1952), Shannon : Lien, Lien, Vidéo 7:23
  • SNARC, le résolveur de labyrinthe (1951), Minsky : Lien, Vidéo 2:09
  • Machine inutile (1952), Minsky, Shannon : Lien
  • Mémoire à tores magnétiques (1955-1975), mémoire vive : Lien, Vidéo 3:04

D.2 Calculateurs électroniques de première génération

  • Atanasoff-Berry computer (1937-1942), Atanasoff : Lien, HOC, Vidéo 5:39
  • Z3 (1941-1943), Zuse : Lien, Vidéo 5:11
  • Colossus (1943 – 1945), UK : Lien, Vidéo 5:32
  • Harvard Mark I (1944-1948), Aiken : Lien, HOC, Vidéo 2:26
  • Machine IAS (1945-1951), Princeton, Von Neumann, Bigelow, Goldstine : Lien
  • ENIAC (1945-1955), Eckert, Mauchly : Lien, Vidéo 2:15
  • Model V (1946-1947), Stibitz : Lien, Lien
  • Z4 (computer) (1947), Zuse : Lien, Vidéo 2:50
  • Harvard Mark II (1947), Aiken : Lien, Vidéo 3:55 CHM
  • Small-Scale Experimental Machine, « Baby computer », (1948), Williams, Killburn, Tootill, UK : Lien,
  • EDSAC (1949), Cambridge, Wilkes, UK : Lien
  • Manchester Mark I (1949), Williams, Killburn, UK : Lien
  • Whirlwind I (1949-1980), Forrester, MIT, US Navy : Lien, Vidéo 1:21
  • BINAC (1949), Northrop Corp., Eckert, Mauchly : Lien, Vidéo 12:35
  • EDVAC (1949), Eckert, Mauchly, Neumann : Lien
  • CSIRAC, CSIR Mk 1 (1949), Pearcey, Beard, Australia : Lien
  • Model VI (1949), Bell Labs : Lien
  • BARK (computer) (1950), Conny Palm, Suède : Lien
  • TRE Automatic Computer (TREAC) (1950), A. Uttley, R. H. A. Carter, UK : Lien
  • SEAC (1950-1960), Alexander, U.S. National Bureau of Standards : Lien
  • SWAC (1950-1967), Huskey, U.S. National Bureau of Standards, UCLA : Lien
  • ERMA (Electronic Recording Machine, Accounting) (développé de 1950 à 1955), Stanford Research Institute, Noe, Banque : Lien
  • UNIVAC I (1951), Eckert, Mauchly, premier ordinateur commercial officiel, United States Census Bureau : Lien
  • Ferranti Mark 1 (1951), F.C. Williams, T. Kilburn, UK : Lien
  • LEO I (1951), Standingford, Thompson, Caminer, J. Lyons and Co., UK : Lien
  • Hollerith Electronic Computer (HEC) (1951), A. Booth, Birkbeck College, UK : Lien
  • UNIVAC 1101 (1951), Eckert, Mauchly : Lien
  • ILLIAC series (1951-1974), Univ. of Illinois : Lien
  • UNIVAC 1100/2200 series (1951-), Sperry Univac, Remington Rand : Lien
  • Memory Test Computer (1952), MIT, IBM
  • ORDVAC (1952), Aberdeen ballistic research, Univ. Illinois : Lien
  • ILLIAC I (1952), Univ. Illinois : Lien
  • MANIAC I (1952), Los Alamos Nat. Lab., Von Neumann, Metropolis : Lien
  • Automatic message accounting (1952), Bell System : Lien
  • All Purpose Electronic (X) Computer (1952), Booth, UK : Lien
  • IBM 701 (1952), Rochester : Lien
  • Bull, série Gamma 3 (1952-1960) : Lien 1, Lien 2
  • BESK (1953), Suède : Lien
  • SILLIAC (1953), Australia : Lien
  • Série IBM 700/7000 (1953) : Lien
  • Automatic Computing Engine (1953), Turing, UK : Lien, Vidéo 10:26
  • JOHNNIAC (1953), Princeton : (1953-1966), RAND Corporation, Langage IPL : Lien
  • Strela Computer series (1953), USSR : Lien
  • IBM 650 (1954), le mot ordinateur est créé : Lien
  • Bull, Gamma ET (1954), nom commercial ordonnateur : Lien
  • IBM 702 (1954) : Lien
  • IBM 704 (1954) : Lien, Vidéo 4:22
  • TRADIC (1954), Bell Labs, premier calculateur à transistors ? : Lien
  • AN/FSQ-7 (1956), IBM, USAF : Lien

E. Publications, brevets et rapports

  • Whitehead, 1898, A treatise on Universal Algebra with Applications, Lien
  • Whitehead, Russell, 1910-1913, Principia Mathematica, Lien
  • Couturat, 1914, The Algebra of Logic, Lien, L’Algèbre de la Logique, 1905
  • Torres Quevedos, 1915, Essais sur l’automatique. Sa définition, Étendue théorique de ses applications, Revue générale des Sciences, Lien
  • Turing, 1936, On Computable Numbers, with an Application to the Entscheidungsproblem, PLMS, Lien
  • Shannon, 1937, Master thesis, 1938, A Symbolic Analysis of Relay and Switching Circuits, TAIEE, Lien, Lien, Lien
  • Shannon, 1936-1940, Ph.D. thesis, An algebra for theoretical genetics, Lien
  • Dudley, 1940, The Carrier Nature of Speech, Bell System Technical Journal, 29 (4), 495-514 : Lien
  • Shannon, 1941, Mathematical theory of the differential analyzer, Lien
  • Schrödinger, 1944, What is life ? : Lien
  • Von Neumann, Morgenstern, 1944, Theory of Games and Economy : Lien (résumé)
  • Shannon, 1945, A Mathematical Theory of Cryptography : Lien
  • Shannon, 1948, A Mathematical Theory of Communication, Bell System Technical Journal, Vol. 27 (July and October), pp. 379-423 and 623-656, Lien
  • Oliver B. M., Pierce J. R., Shannon, 1948, The Philosophy of PCM, Lien
  • Wiener, 1948, Cybernetics: Or Control and Communication in the Animal and the Machine, Lien
  • Dubarle, 1948, Vers la machine à gouverner…, Le Monde
  • Shannon, Weaver, 1949, The Mathematical Theory of Communication : Lien
  • Shannon, 1949, Communication in the Presence of Noise, Proceedings of the IRE : Lien
  • Shannon, 1949, Communication Theory of Secrecy Systems, Bell System Technical Journal, 28 (4): 656–715 : Lien
  • Weaver, 1949, memorandum on Translation, Lien
  • Turing, 1950, Computing machinery and intelligence, MindLIX (236): 433–460 : Lien
  • Shannon, 1950, Programming a Computer for Playing Chess, : Lien, Lien
  • Miller, 1951, Language and Communication : Lien
  • Bateson, Ruech, 1951, Communication et Société : Lien
  • Nash, 1952, Some Games and Machines Playing them, RAND corporation : Lien
  • Brillouin, 1953, Naissance de la théorie de l’information : Lien
  • Shannon, 1953, Computers and Automata, Proceedings of the IRE, 41 (10) : Lien
  • Backus, 1954, The IBM 701 Speedcoding System, Journal of the ACM; 1 (1) : Lien
  • Minsky, 1954, Ph.D. thesis, Neural Nets and the Brain Model Problem
  • Farley, Clark, 1954, Simulation of self-organizing systems by digital computer, Transactions of the IRE Professional Group on Information Theory, 4 (4)
  • McCarthy, Minsky, Rochester, Shannon, 1955, A proposal for the Dartmouth Research Project on Artificial Intelligence. Éditeur Solomonoff : Lien;
    Éditeur McCarthy : Lien
  • Shannon, McCarthy, 1956, Automata Studies, Annals of Mathematics Studies, Vol. 34 : Lien
  • Shannon, 1956, A Universal Turing Machine with Two Internal States, Automata Studies, Annals of Mathematics Studies, Vol. 34, p157
  • Shannon, 1956, The Bandwagon, IRE Transactions : Lien
  • Chomsky, 1956, Three models for the description of language, IRE Transactions on Information Theory (2): 113–124 : Lien
  • Stibitz, 1967, The relay computers at Bell Labs : those were the machines, parts 1 and 2, Computer History Museum : Lien
  • Shannon, Price, 1984, A conversation with Claude Shannon, IEEE Communications Magazine, Lien, Enregistrement audio et transcription de l’interview de 1982 : Lien
  • Mounier-Kuhn, 1989, The lnstitut Blaise-Pascal (1946-1969) from Couffignal’s Machine to Artificial Intelligence, Annals Hist Comput, 11:257-261
  • Mounier-Kuhn, 1990, Genèse de l’informatique en France (1945-1965), Culture Technique, 21, 35-46 : Lien
  • Sloane, Wyner, 1993, Claude Elwood Shannon Collected Papers : Lien
  • Perrin, 1993, Les Débuts de la Théorie des Automates : Lien
  • McCarthy, 1996, LISP prehistory – Summer 1956 through Summer 1958 : Lien
  • Sloane, Biography of Claude Elwood Shannon : Lien
  • Sloane, Bibliography of Claude Elwood Shannon : Lien
  • Copeland, 2000, What is Artificial Intelligence ? : Lien
  • Irvine, 2001, Early digital computers at Bell Telephone Laboratories, IEEE Annals of the History of Computing : Lien, Lien
  • Léon, 2002, Le CNRS et les débuts de la traduction automatique en France, La Revue pour l’Histoire du CNRS : Lien
  • Hutchins, 2006, The first public demonstration of machine translation : the Georgetown-IBM system, 7th January 1954 : Lien, Communiqué IBM : Lien
  • Gleick, 2015, L’information; une histoire, une théorie, un déluge : Lien
  • Rochain, 2016, De la mécanographie à l’informatique: 50 ans d’évolution : Lien
  • Horgan, 2016, Claude Shannon: Tinkerer, Prankster, and Father of Information Theory : Lien

F. Évènements, institutions, sociétés savantes et entreprises

  • J. Lyons and Co. (1894) : Lien
  • Elliott Brothers (1804) : Lien
  • IBM (1911-) : Lien
  • Fondation Rockefeller (1913-) : Lien
  • Laboratoires Bell (1925-) : Lien
  • Remington Rand (1927-1955) : Lien
  • Institute for advanced studies (1930-) : Lien
  • Entreprise Bull (1930-) : Lien
  • Conférence Macy (1942-1953) : Lien
  • Zuse KG (1945-1971) : Lien
  • Research Laboratory of Electronics, MIT (1946-) : Lien
  • Eckert–Mauchly Computer Corporation (EMCC) (1946-1950), : Lien
  • Engineering Research Associates (ERA) (1946-1952), mémoire à tambour : Lien
  • RAND Corporation (1948-), recherche militaire, conseil stratégique : Lien
  • Société d’Electronique et d’Automatisme (1948-1966) : Lien
  • Ratio Club (1949-1958) : Lien
  • École de Palo Alto (1952-1956) : Lien
  • RNA Tie Club (1954) : Lien, Vidéo 3:04
  • Information Theory Society (1955-) : Lien
  • Conférence de Dartmouth (1956) : Lien
  • Prix Claude Shannon (1972-) : Lien
  • AI@50, le cinquantenaire (2006) : Lien

G. Le centenaire de la naissance de Shannon

  • Bell labs, Claude E. Shannon, A goliath among giants, Lien
  • ITSOC, Shannon Centenary, IEEE, Information Theory Society : Lien
  • CNRS, Claude Shannon : le monde en binaire : Lien
  • CIRM, Hommage à Claude Shannon : Lien
  • Colloque Shannon 100 IHP, 2016, Vidéos YouTube : Lien

Révisé en 2018, 2019

Publicités

4 commentaires

Répondre

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion /  Changer )

Photo Google

Vous commentez à l'aide de votre compte Google. Déconnexion /  Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s