La Théorie de l’Information de Claude Elwood Shannon

En premier lieu, il convient de noter que alors que certains vertébrés peu évolués ont atteint des tailles supérieures à leurs descendants vivants hautement organisés, de la même façon, la diminution de la taille des machines a souvent accompagné leur développement et leur progrès.

Darwin amongst the machines, Samuel Butler, The Press, 13 June 1863, Lien

De nombreuses innovations dans le domaine des mathématiques appliquées voient le jour pendant la furieuse période qui va de 1936 à 1956. Lors de la deuxième guerre mondiale, les bombes cryptologiques ont permis le déchiffrement des messages codés par Enigma. Des informations stratégiques furent échangées de part et d’autre de l’Atlantique à l’aide du téléphone crypté SIGSALY. Des calculateurs d’un nouveau type ont contribué à la réussite du débarquement, alors que le projet Manhattan entraîne la fin de la guerre au prix de nombreuses victimes civiles. La paix revenue, le téléphone, la radio et la télévision rencontrent un vif succès auprès du grand public. Un séduisant « american way of life » est proposé à une Europe et une Asie en reconstruction. Mais le communisme propose une autre vision et dès 1946, Est et Ouest s’affrontent de nouveau froidement. De délicats points d’équilibre sont trouvés, entre guerre impossible et paix improbable, ressources limitées et ambitions non négligeables.

Publié en 1948, l’article “A Mathematical Theory of Communication” de Shannon propose de modéliser certains des concepts clés de la transmission de l’information. La théorie s’avère remarquablement protéiforme et va influencer notablement des disciplines dont le nom n’existe pas, qui restent à être inventées telles que l’informatique, l’intelligence artificielle, les sciences cognitives ou bien la biologie moléculaire. D’autres aspects de la théorie concernent les télécommunications, la cryptologie, l’automatique, la neurophysiologie, la psychologie, la linguistique. L’article est pourtant simplement relatif aux techniques de transmission des signaux. Il s’agit d’améliorer la circulation de l’information dans des canaux de capacité limitée, d’optimiser les méthodes de stockage et d’échange de l’information, de coder et comprimer des signaux et des messages, de calculer et de mémoriser. Mais ces éléments sont observés sous un aspect physique, logique, algébrique et statistique.

Shannon prend part également à l’écriture de la partie mathématique du livre de Norbert Wiener “Cybernetics Or Control and Communication in the Animal and the Machine” publié également en 1948, à l’origine d’une école de pensée. Les deux textes apparaissent fort différents, mais non dépourvus de relations. Quelques héritages de la théorie de l’information et de la cybernétique restent dans les sociétés du présent.

Ce billet propose en commémoration du centenaire de Shannon une courte biographie, un aperçu de quelques machines et concepts qui ont joué un rôle dans la naissance des ordinateurs de première génération, une traduction de l’introduction de l’article, une évocation de la conférence de Dartmouth co-organisée par Shannon et souvent considérée comme fondatrice de l’intelligence artificielle. Quelques unes des idées de l’ingénieur, mathématicien et jongleur sont rappelées.

Plan de l’article

1. Claude Elwood Shannon (1916-2001)

shannon

Après un double “Bachelor of Science” (licence) en mathématiques et en génie électrique, Shannon suit en 1936 au MIT les cours de Norbert Wiener sur la théorie du signal, l’analyse harmonique et les transformations de Fourier. Il est embauché à temps partiel en tant que chercheur assistant au département de génie électrique du MIT, Cambridge, sous la direction de Vannevar Bush. Il manipule l’Analyseur différentiel. En fonction de 1927 à 1944, il s’agit du calculateur analogique général le plus avancé de l’époque, capable de résoudre des équations différentielles du sixième degré.

Le calculateur analogique est maintenant tombé dans l’oubli. Des exemples de calculateurs analogiques sont le prédicteur de marées de Lord Kelvin, ou bien son analyseur harmonique, une simple règle à calcul, un appareil de fluidique logique comme le MONIAC. Dans ce type de calcul, l’aspect continuellement changeant de phénomènes mécaniques, électroniques, voire hydrauliques ou biochimiques servent par analogie à modéliser un problème à résoudre. Résoudre un problème mathématique complexe de manière analogique équivaut à assembler de manière adéquate des opérateurs. Des sommateurs, multiplieurs, diviseurs ou intégrateurs, symboles de fonctions algébriques sont ainsi combinés. Ceux-ci sont avec l’Analyseur différentiel composés d’engrenages et de dispositifs mécaniques et électromécaniques. La machine doit être calibrée chaque jour car sensible aux conditions de l’environnement.

Les applications des calculs en série faits par les calculateurs de ce type concernent la balistique, la construction, la navigation maritime, la marégraphie ou l’astronomie, la dynamique des systèmes. Il s’agit alors de produire des tables de données imprimées, de résoudre des problèmes particuliers. Des calculateurs analogiques électroniques remplacent pendant et après guerre les calculateurs analogiques mécaniques. Programmer des calculs équivaut alors à correctement câbler les opérateurs et lire les résultats sur une table traçante, sur un oscilloscope, sur cartes perforées. Vient ensuite et en parallèle l’époque des calculateurs numériques basés sur des relais téléphoniques, puis sur des tubes électroniques à vide. Ces dispositifs électriques permettent de construire des analogies de l’arithmétique et de la logique plus rapides et moins sensibles aux conditions environnementales que les analogies électromécaniques. Shannon formé à la fois en mathématique et en électronique se retrouve relativement à l’aise dans les incertitudes technologiques qui règnent durant cette période.

1.1 Le calcul numérique en 1936

L’idée d’un calcul automatique numérique émerge en différents lieux dès 1936. Le mathématicien Alan Turing théorise cette année un concept abstrait, un modèle de machine capable de décider du caractère calculable des nombres en effectuant leur calcul algébrique, démontrant au passage que la plupart ne le sont pas. Son raisonnement conduit à la définition d’une machine capable de manipuler et écrire sur une bande de papier de longueur infinie (une mémoire numérique inscriptible et effaçable) sous la direction d’algorithmes, la fameuse machine de Turing.

En Allemagne, Konrad Zuse met au point en 1936 un prototype de calculateur nommé Z1, basé sur les mouvements électromécaniques de pièces métalliques. La machine marche mal. La demande de brevet de 1936 est rejetée. Pourtant, Zuse va poursuivre pendant plus de 20 ans la construction d’une série de machines fonctionnelles nommées successivement Z2 (1939), Z3 (1941). Le Z3 stocke l’information sur ruban perforé et fonctionne à l’aide de relais. L’engin est détruit lors du bombardement de Berlin de 1943, mais de nombreuses machines lui succèdent parmi lesquelles le Z4 en 1944.  Konrad Zuse conçoit de 1942 à 1946 sans usage commercial le premier langage de programmation de haut niveau intitulé Plankalkül. Un programme de jeu d’échecs est écrit de 1941 à 1945. Les travaux précurseurs de Zuse, ses échanges en 1944 avec le logicien Heinrich Scholz, seul professeur de mathématique logique connaissant à l’époque les travaux de Turing restent méconnus.

Futur collègue de Shannon aux Bell Labs, George Stibitz élabore dans sa cuisine en 1937 un additionneur binaire nommé K-model (K pour Kitchen) basé sur l’assemblage simple de deux relais, composantes de base des réseaux téléphoniques. Stibitz contribue à bâtir le Model I de 1938 à 1940. Cette machine spécialisée dans la multiplication des nombres complexes est composée de 460 relais interagissant avec deux téléscripteurs. Mobilisé en 1941, Stibitz poursuit la construction de calculateurs aux Bell Labs. Le Model II est notamment utilisé en 1944 pour simuler un système de conduite de tirs anti-aériens. Il admet en entrée des instructions fournies à l’aide d’un ruban perforé et sera actif jusqu’en 1961. Le Model III fonctionne de 1944 à 1948. D’autres machines à usage militaire incluent les modèles IV et V. Le calculateur numérique Automatic Message Accounting AMA (1952) sert à facturer à la durée les usagers du téléphone. Le TRADIC sera en 1954 le premier calculateur à transistors et le dernier fabriqué par les Bell Labs.

John Vincent Atanasoff travaille de son côté à l’Université d’Etat de l’Iowa lorsqu’il met au point en 1937 avec l’aide de son étudiant Clifford Berry  l’Atanasoff-Berry computer, un calculateur fonctionnant à l’aide de tubes électroniques en lieu et place des relais. Une demande de brevet est déposée en 1939. La machine ne sera pas améliorée ultérieurement.

Par ailleurs, la mécanographie rencontre à cette époque un grand succès commercial aux Etats-Unis avec IBM et en France avec La Société des Machines Bull. Cette dernière société fondée en 1930 commercialise en 1940 la calculatrice électromécanique C3. Il s’agit en fait d’une tabulatrice, machine conçue pour effectuer des additions, soustractions et multiplications sur des informations stockées en masse sur cartes perforées. Les cartes lues contiennent les données, le programme est créé par câblage d’un tableau, des relais assurent les calculs et les sorties sont imprimées sur carte.

1.2 Master et doctorat

Mais revenons au parcours de Shannon en 1937 si vous le voulez bien. Le jeune étudiant admire Edison, lit Boole, Whitehead A treatise on Universal Algebra with Applications, Couturat The Algebra of Logic. Cette année-là, il effectue un stage d’été aux Bell Labs à New-York et tire parti de son expérience précédente sur l’analyseur différentiel de Bush. Son mémoire de master soutenu au MIT en 1938 sous la direction du professeur Hitchcock A Symbolic Analysis of Relay and Switching Circuits montre que des réseaux de relais et de commutateurs permettent de résoudre des problèmes d’algèbre booléenne éventuellement complexes.

Composés uniquement de relais, des circuits électriques peuvent être analysés ou bien au contraire synthétisés d’une manière optimisée en se basant sur l’analogie entre circuits et opérations de l’algèbre. Des séries de calculs électriques analogues au Calcul des Propositions peuvent alors être entrepris. Au-delà des opérations d’arithmétique élémentaire, le mémoire original de Shannon propose à titre d’exemple d’application et dans l’esprit d’un brevet : un compteur de bulletins de vote, un sommateur en base 2, une table contenant les facteurs et indiquant les nombres premiers des entiers de 1 à 100 000. Le rapport est publié en 1938 dans le Transactions of the American Institute of Electrical Engineers. Une théorie des circuits de commutation (switching circuit theory) devient alors connue aux Etats-Unis des ingénieurs en électro-mécanique.

In fact, any operation that can be completely described to the required accuracy (if numerical) in a finite number of steps using the words « if », « or », « and », etc, can be done automatically with relays

Shannon, A Symbolic Analysis of Relay and Switching Circuits, 1937

Shannon obtient simultanément en 1940 un master de science en Génie électrique et un doctorat (PhD) en Mathématiques sur un sujet de Génétique des populations “An Algebra for Theoretical Genetics”. Un modèle de notation susceptible de trouver des applications en Génétique et Dynamique des populations est proposé, tenant compte des phénomènes (reproduction, mutation) qui se produisent lors du cycle de vie de populations d’eucaryotes.

1940, le post-doctorant est appelé à séjourner à l’Institute for Advanced Study (IAS) à Princeton. Il croise en ces lieux des scientifiques de renom venus d’Europe tels que les mathématiciens et physiciens Hermann Weyl, John von Neumann, Albert Einstein ou le logicien Kurt Gödel. Von Neumann est professeur de mathématique à Princeton ainsi qu’à l’IAS. Il se montre actif dans plusieurs domaines incluant la logique, la mécanique quantique et l’économie.

De décembre 1940 à août 1941, Shannon est embauché avec le titre de consultant aux laboratoires Bell fréquentés précédemment en tant que stagiaire. Important changement personnel, Shannon rencontre Norma Levor. Ils se marient en 1940. Ce premier mariage ne sera pas un succès. Le divorce est prononcé un an plus tard. Norma se remarie à Ben Barzman, un scénariste canadien, et poursuit une carrière d’écrivain et d’actrice.

Toujours inspiré par ses travaux plus anciens sur l’analyseur différentiel de Bush, le mathématicien publie en avril 1941 dans Studies in Applied Mathematics son article « Mathematical theory of the differential analyzer ». Un modèle de calculateur analogique général est proposé. Il introduit la notion de GPAC (General Purpose Analog Computer). Un tel dispositif se compose de plusieurs opérateurs interconnectés dans le but de calculer des fonctions. L’équivalence fonctionnelle entre le GPAC envisagé par Shannon en 1941 et une machine de Turing est une question actuellement en cours d’étude.

1.3 Deuxième guerre mondiale

Les États-Unis entrent en guerre le 8 décembre 1941. Shannon travaille en compagnie de Wiener et Stibitz sur l’automatisation des commandes de tir d’un canon antiaérien. Les réglages du calculateur analogique des directeurs de tirs du canon antiaérien M-9 prouveront leur efficacité quelques années plus tard au Royaume-Uni, en 1943 et 1944 lors des bombardements de Londres. Le jeune ingénieur change ensuite de projet. Il devient actif en 1942-1943 sur le système de téléphonie cryptée SIGSALY pour en mettre au point certaines composantes techniques et les principes de chiffrement. Il a l’occasion de prendre le thé à la cafétéria des Bell Labs et de discuter avec Alan Turing, consultant britannique sur les questions du chiffrement de la parole, en visite aux États-Unis de Novembre 1942 à Mars 1943.

Précédant Shannon de quelques années, Turing avait également étudié les mathématiques et la cryptologie. Sélectionné également pour assister de 1936 à 1938 aux cours de l’Institute for Advanced Study, il a écrit des articles sur l’approche mathématique du chiffrement. Turing travaille à cette époque à Bletchley Park sur le décryptage des messages allemands. Les alliés sont confrontés à deux machines cryptographiques : Enigma et la Machine de Lorentz. Côté britannique, la fabrication du Colossus Mark 1 est à cette époque finalisée. Il s’agit du deuxième calculateur après celui d’Atanasoff fonctionnant à l’aide de tubes à vide, conçu spécifiquement pour la cryptanalyse.

Turing traverse plusieurs fois l’Atlantique. Des bombes cryptologiques de différentes séries fonctionnent en 1943 à la fois au Royaume-Uni et aux États-Unis. Les messages interceptés en Europe et sur les mers sont déchiffrés en grand nombre.

Shannon évoque dans son interview de 1982 ses discussions avec Turing dans lesquelles la cryptologie n’est pas abordée pour raison de secret militaire. Les sujets portaient – raconte-t-il – sur le fonctionnement du cerveau humain, sur celui des machines et de ce qu’il est autorisé d’en attendre. Les calculateurs peuvent ils imiter la pensée humaine pour faire autre chose que du calcul ? Des machines bio-inspirées vont elles pouvoir mimer l’intelligence humaine ?

L’article du musée virtuel néerlandais cryptomuseum.com révèle une activité de Turing et Shannon non négligeable sur le projet SIGSALY développé aux Bell Telephone Laboratories. Les États-Unis réalisent lors de l’entrée en guerre et de l’attaque de Pearl Harbor que la voix s’avère nécessaire et plus efficace que l’écrit pour lancer une alerte ou mener une négociation à haut niveau. Mais aucun système crypté fiable de la parole n’existe en 1941.

Développé aux États-Unis à partir de 1942, SIGSALY, un appareil de 50 tonnes devient fonctionnel en avril 1943. Il reste en activité jusqu’en 1946. Bien que volumineux, coûteux pour son fonctionnement en moyens humains et en énergie, il s’avère remarquablement innovant. La numérisation et le chiffrement d’un signal vocal sont introduits. Le voder (Voice Operating DEmonstratoR) ou vocodeur présenté par les Bell Labs à l’exposition universelle de 1939 sert de dispositif de numérisation de la parole. La modulation d’impulsion codée – Pulse Code Modulation (PCM) – est employée pour la transmission. La représentation en modulation d’impulsion codée d’un signal se décompose en trois opérations : échantillonnage, quantification, codage. Les signaux transmis ne doivent pouvoir être déchiffrés que par le destinataire.

Shannon met au point sur SIGSALY la PCM, la modulation d’impulsion codée. Il intervient comme Turing en tant que cryptanalyste. Il collabore avec John Robinson Pierce sur la PCM. Un bruit de fond enregistré sur disque vinyl – un signal analogique mémorisé – sert de masque jetable (chiffre de Vernam, one-time pad) pour calculer en temps réel le message codé. Des horloges doivent être synchronisées entre l’émetteur et le récepteur pour que le système soit opérationnel. La communication sans fil se fait en ondes haute fréquence. Shannon et Turing disposent d’une bonne compréhension de l’ensemble du fonctionnement. Des exemplaires de la machine seront successivement déployés à Washington, Londres, Alger, Brisbane, Hawaii, Oakland, après la libération à Paris, à Guam, et après-guerre à Frankfort, Berlin, Tokyo, Manille. Le premier réseau de téléphonie diplomatique hautement sécurisé est ainsi créé, utilisé par Roosevelt, Churchill et le haut commandement militaire.

SIGSALY, Crypto Museum, Lien

Pendant ce temps à Harvard, von Neumann croisé en tant que professeur par Shannon lors de ses études à l’Institute for Advanced Study participe de 1942 à 1946 au projet Manhattan. Il effectue des calculs sur Harvard Mark I, mis au point en 1944 pour IBM par Howard Aiken.  Dès 1943, Aiken a formé une petite équipe de « codeurs » pour tester puis programmer sa machine. Rapidement s’y adjoint une jeune enseignante de mathématiques recrutée par l’US Navy, Grace Hopper, considérée comme l’une des premières programmeuses, cent ans certes après Ada Lovelace (1815-1852). Cette machine d’Harvard intéresse grandement Princeton.

Von Neumann propose en 1945 une architecture générale de construction d’un calculateur numérique, lors de la conception à Princeton avec Julian Bigelow d’un calculateur nommé du nom de l’institut machine IAS. Une quinzaine de clones de l’IAS sont construits car von Neumann ne dépose pas de brevet et écrit librement sur le sujet. Le physicien se montre actif également sur l’ENIAC, une machine de l’Université de Pennsylvanie finalisée en 1945 sous la direction de John William Mauchly, et programmée par une équipe entièrement féminine. La côte Est se montre particulièrement active dans le domaine de la mise au point de ces nouvelles machines.

1.4 Après guerre

Le 2 Septembre 1945, la paix est signée par les Etats-Unis à bord de l’USS Missouri. Petit clin d’oeil à l’histoire, Shannon publie la veille, le 1er Septembre 1945 un article remarqué des spécialistes, « A Mathematical Theory of Cryptography« . Des algorithmes codent des messages échangés qui doivent être déchiffrés et peuvent être interceptés. L’article reste classé secret jusqu’en 1957. Dans son article de 1949 « Communication Theory of Secrecy Systems », Shannon prouve mathématiquement que le masque jetable de Vernam correctement implémenté ne peut être cassé. La cryptographie devient progressivement une science.

Les efforts fournis se tournent après guerre vers des applications civiles et commerciales. 32 brevets furent déposés sur le projet SIGSALY et maintenus confidentiels pour certains pendant 32 ans. En 1948, les laboratoires Bell nomment « transistor » leur tout nouveau composant électronique destiné à remplacer les relais et tubes électroniques des unités centrales des machines de deuxième génération (1957-1965). La même année, Wiener publie son best-seller « Cybernetics Or Control and Communication in the Animal and the Machine » en collaboration avec Shannon pour le très mathématique chapitre 6. Le livre remporte un vif succès auprès du grand public et sera même présenté à la Maison Blanche.

1.5 La théorie de Shannon

Longuement mûrie, la première partie de l’article de Shannon : A Mathematical Theory of Communication est publiée en 1948 dans la revue Bell System Technical Journal. La deuxième partie parait en octobre. Une théorie de la communication est proposée. Inspirée de la théorie de la cryptographie, elle vise à optimiser les systèmes de transmission de l’information ainsi que le fonctionnement des calculateurs. Il s’agit d’améliorer l’efficacité des signaux échangés, d’optimiser la quantité d’information transmise dans des canaux dont la capacité est limitée et dont les performances sont limitées par le bruit de fond.

Parmi ses aspects novateurs, l’article définit dès l’introduction le bit pour binary digit ou chiffre binaire. Bit signifie encore « petit morceau » ou bien « particule » en anglais. Le bit est l’unité binaire, élémentaire et atomique de l’information dont la définition relève de la logique.

shannon-bit
Un doigt levé ou baissé, un interrupteur ouvert ou fermé, une pièce de monnaie positionnée coté pile ou face, constituent des exemples simples de l’unité binaire de l’information nommée bit pour binary-digit (chiffre binaire), par Shannon et JW Tukey. Cette définition relève de la logique, de la théorie de la décision.

Après un bref hommage rendu aux logarithmes, cette intéressante fonction qui permet de transformer une addition en multiplication et une soustraction en division, Shannon propose un schéma accompagné d’un modèle mathématique qui symbolise la transmission de l’information quelque soit son type : information discrète (numérique), continue (analogique) ou bien mixte (numérique et analogique). Le cas de l’information discrète avec et sans bruit est développé dans la première partie, aboutissant à la démonstration de multiples théorèmes illustrés d’exemples de transmission de messages écrits en anglais et de propositions relevant de l’étude statistique des langues écrites.

Le calcul de l’entropie de l’information est ensuite proposé. Cet indicateur statistique permet de caractériser la quantité maximale d’information qu’un canal peut transmettre. La formulation retenue – une fonction pondérée du logarithme en base 2 de la probabilité de réception d’un signal – répond à la même équation que l’entropie de Boltzmann établie dans le contexte de la thermodynamique. Une même formule mathématique permet de décrire la dissipation de l’énergie dans un système et la transmission de l’information dans un canal.

De manière simplifiée et quelque peu intuitive, l’entropie caractérise le niveau de « désordre », le niveau de variation potentielle des signaux constitutifs d’un message, l’hétérogénéité d’un signal, sa redondance, les propriétés statistiques de l’alphabet. Elle mesure encore l’incertitude moyenne de réception d’un signal. Plus l’entropie d’un signal discret est élevée, plus la quantité d’information susceptible d’être transmise de manière concise est importante. Alors que l’entropie de Boltzmann est formulée en joules (énergie) par degré Kelvin, l’entropie de Shannon est quantifiée en bits.

Précédé d’un chapitre de Warren Weaver et reliant les deux parties initiales de Shannon, le livre « The Mathematical Theory of Communication » parait l’année suivante en 1949. Mathématicien de formation, Warren Weaver est directeur de 1932 à 1955 de la division Sciences naturelles de la Fondation Rockefeller. Il est notamment considéré comme le créateur du mot « Biologie moléculaire » et s’intéresse à la promotion de la traduction automatique des langues. Weaver vulgarise les aspects mathématiques de la théorie. Il en souligne l’aspect contre-intuitif. En effet, la théorie ne concerne ni la sémantique, ni le contexte d’un message, éléments pourtant centraux du langage et de l’écriture. Dans le livre cosigné, l’article « A » qui signifie « Une » a été remplacé par « The » : « La Théorie … ». Une traduction de l’introduction de l’article original de Shannon est ici proposée, suivie du plan traduit également en français. Deux figures de l’article original sont ensuite discutées.


2. A Mathematical Theory of Communication, by C.E. Shannon

2.1 Traduction de l’introduction

Le récent développement de diverses méthodes de modulation telles que la PCM (modulation d’impulsion codée – la voix numérisée) et la PPM (modulation en position d’impulsions – communication optique) qui échangent de la bande passante contre du rapport signal-bruit a intensifié l’intérêt d’une théorie générale de la communication. Une base d’une telle théorie se trouve dans les articles importants de Nyquist et Hartley à ce sujet. Dans le présent article, nous étendrons la théorie pour inclure un certain nombre de nouveaux facteurs, en particulier l’effet du bruit dans le canal, et les économies possibles dues à la structure statistique du message original et dues à la nature de la destination finale de l’information.

Le problème fondamental de la communication est celui de reproduire en un point, soit exactement soit approximativement un message sélectionné à un autre point. Fréquemment, les messages ont une signification; c’est à dire qu’ils se réfèrent à ou sont corrélés avec certains systèmes, avec certaines entités physiques ou conceptuelles. Ces aspects sémantiques de la communication ne relèvent pas du problème de l’ingénierie. L’aspect important est que le message réel est un élément choisi parmi un ensemble de messages possibles. Le système doit être conçu pour fonctionner pour chaque sélection possible, pas seulement celle qui sera effectivement choisie car celle ci est inconnue au moment de l’envoi.

Si le nombre de message dans l’ensemble est fini alors ce nombre ou toute fonction monotone de ce nombre peut être considéré comme une mesure de l’information produite quand un message est choisi parmi un ensemble, tous les choix étant équiprobables. Comme l’a souligné Hartley le choix le plus naturel est la fonction logarithmique. Bien que cette définition doive-t-être généralisée considérablement lorsque l’on considère l’influence des statistiques du message et lorsque nous avons une gamme continue de messages, nous allons utiliser dans tous les cas une mesure essentiellement logarithmique.

La mesure logarithmique est plus commode pour diverses raisons:

  1. Elle est plus utile de manière pratique. Des paramètres d’importance en ingénierie tels que le temps, la bande passante, le nombre de relais, etc., ont tendance à varier linéairement avec le logarithme du nombre de possibilités. Par exemple, l’ajout d’un relais à un groupe double le nombre d’états possibles des relais. On ajoute 1 au logarithme en base 2 de ce chiffre. Un doublement du temps multiplie au carré le nombre des messages possibles, ou double le logarithme, etc.
  2. Elle est plus proche de notre sens intuitif que de la mesure elle-même. C’est étroitement liée à (1) puisque nous mesurons intuitivement les entités en comparaison linéaire avec les standards communs. On ressent, par exemple, que deux cartes perforées doivent avoir deux fois la capacité d’une seule pour le stockage de l’information, et deux canaux identiques deux fois la capacité d’un seul pour transmettre l’information.
  3. Elle est mathématiquement plus appropriée. Un grand nombre d’opérations critiques sont simples en termes de logarithme mais exigeraient autrement un retraitement maladroit en terme de nombre de possibilités.

Le choix d’une base logarithmique correspond au choix d’une unité de mesure de l’information. Si la base 2 est employée, les unités qui en résultent peuvent être appelées digits binaires, ou plus brièvement bits [binary digits], un mot suggéré par JW Tukey. Un dispositif à deux positions stables, comme un relais ou un circuit à bascule, peut stocker un bit d’information. Un nombre N de tels dispositifs peut stocker N bits, puisque le nombre total d’états possibles est 2N et log22N = N. Si la base 10 est utilisée, les unités peuvent être appelées chiffres décimaux. Puisque

log2 M = log10 M / log10 2 = 3.32 log10 M,

un chiffre décimal correspond approximativement à 3 ⅓ bits. Une roue à chiffres sur une machine à calculer de bureau a dix positions stables a donc une capacité de stockage d’un chiffre décimal. Dans les travaux analytiques dans lesquels l’intégration et le calcul différentiel sont impliqués, la base e est parfois utile. Les unités d’information résultantes seront appelées unités naturelles. Un changement de la base a en base b exige simplement une multiplication par logb a.

Par un système de communication, nous entendrons un système du type de celui indiqué schématiquement dans la Fig. 1. Il est constitué essentiellement de 5 parties:

  1. Une source d’information qui produit un message ou une suite de messages destinés à être communiqués au terminal récepteur. Le message peut être de différents types: par exemple (a) Une séquence de lettres comme dans un système de type télégraphe ou téléscripteur; (b) Une simple fonction du temps f(t) comme dans la radio ou la téléphonie; (c) Une fonction du temps et d’autres variables comme avec la télévision noir et blanc – ici le message peut être pensé comme une fonction f(x;y;t) de deux coordonnées spatiales et du temps, l’intensité lumineuse au point (x;y) et au temps t sur la plaque du tube de récupération; (d) Deux ou plusieurs fonctions du temps, disons f(t), g(t), h(t) – c’est le cas dans le système de transmission du son en trois dimensions ou si le système est destiné à desservir plusieurs canaux individuels en multiplex. (e) plusieurs fonctions de plusieurs variables – avec la télévision couleur, le message consiste en trois fonctions f(x,y,t), g(x,y,t), h(x,y,t) définies dans un continuum tridimensionnel – nous pouvons aussi penser à ces trois fonctions comme des composantes d’un champs vecteur défini dans la région – de même, plusieurs sources de télévision en noir et blanc produiraient des « messages » constitués d’un certain nombre de fonctions de trois variables; (f) Diverses combinaisons se produisent également, par exemple pour la télévision avec une voie audio associée.
  2. Un émetteur qui intervient sur le message de manière quelconque pour produire un signal approprié à la transmission sur le canal. Dans la téléphonie cette opération consiste simplement à changer la pression sonore en un courant électrique proportionnel. Dans la télégraphie nous avons une opération d’encodage qui produit une séquence de points, de tirets et d’espaces sur le canal correspondant au message. Dans un système de multiplex PCM les différentes fonctions de la parole doivent être échantillonnées, comprimées, quantifiées et encodées, et finalement entrelacées convenablement pour construire le signal. Systèmes Vocoder, télévision et modulation de fréquence sont d’autres exemples d’opérations complexes appliquées au message pour obtenir le signal.
  3. Le canal est simplement le moyen utilisé pour transmettre le signal de l’émetteur au récepteur. Cela peut être une paire de fils, un câble coaxial, une bande de fréquences radio, un faisceau de lumière, etc.
  4. Le récepteur effectue habituellement l’opération inverse de celle effectuée par l’émetteur, reconstruisant le message à partir du signal.
  5. La destination est la personne (ou une chose) à laquelle le message est destiné.
shannon-model

Nous souhaitons considérer certains problèmes généraux impliquant des systèmes de communication. Pour ce faire, il est d’abord nécessaire de représenter les différents éléments impliqués comme des entités mathématiques, convenablement idéalisées à partir de leurs équivalents physiques. Nous pouvons grossièrement classer les systèmes de communication en trois catégories principales : discret, continu et mixte. Par un système discret, nous entendons celui dans lequel le message et le signal à la fois sont une séquence de symboles discrets. Un cas typique est la télégraphie dans lequel le message est une séquence de lettres et le signal une séquence de points, de tirets et d’espaces. Un système continu est celui dans lequel le message et le signal sont tous deux traités comme des fonctions continues, par exemple, avec la radio ou la télévision. Un système mixte est celui dans lequel des variables discrètes et continues apparaissent, par exemple, la transmission de la parole en PCM.

Nous considérons d’abord le cas discret. Ce cas présente des applications non seulement dans la théorie de la communication, mais aussi dans la théorie des calculateurs, dans la conception des échanges téléphoniques et dans d’autres domaines. De plus, le cas discret constitue une base pour les cas continus et mixtes qui seront traités dans la seconde moitié du papier.

[…]


2.2 Le plan en français

Une Théorie Mathématique de la Communication, Bell System Technical Journal, 1948

Introduction, p379, fig. 1

Partie I : Systèmes discrets sans bruit
  1. Le canal discret sans bruit, p382, théorème 1, fig. 2
  2. La source discrète d’information, p384
  3. Des séries d’approximations de l’anglais, p388
  4. Représentation graphique d’un processus de Markoff, p389
  5. Sources ergodiques et mixtes, p390, fig. 3, 4, 5
  6. Choix, incertitude et entropie, p392, fig. 6, théorème 2, fig. 7
  7. L’entropie d’une source d’information, p396, théorème 3, théorème 4, théorème 5, théorème 6
  8. Représentation des opérations d’encodage et de décodage, p399, théorème 7, théorème 8
  9. Le théorème fondamental pour un canal sans bruit, p401, théorème 9
  10. Discussion, p403
  11. Exemples, p404
Partie II : Le canal discret avec bruit

12. Représentation d’un canal discret avec bruit, p406
13. Équivoque et capacité d’un canal, p407, théorème 10, fig. 8
14. Le théorème fondamental pour un canal discret avec bruit, p410, théorème 11, fig. 9, fig. 10
15. Discussion, p413
16. Exemple d’un canal discret et de sa capacité, p415, fig. 11
17. La capacité du canal dans certains cas spéciaux, p416, fig. 12
18. Un exemple d’encodage efficace, p418

Appendice 1 : La croissance du nombre de blocs de symboles en condition d’état fini, p418
Appendice 2 : Dérivation de H, p419
Appendice 3 : Théorèmes sur les sources ergodiques, p420
Appendice 4 : Maximisation de la fréquence dans un système avec contraintes, p421

(à suivre… numéro d’octobre)

Partie III : Préliminaires mathématiques, p623

18. Groupes et ensembles de fonctions, p623
19. Ensembles de fonctions limitées par la bande, p627
20. Entropie d’une distribution continue, p628
21. Perte d’entropie dans les filtres linéaires, p633, tableau 1
22. Entropie de la somme de deux ensembles, p635

Partie IV : Le canal continu, p637

23. La capacité d’un canal continu, p637
24. La capacité d’un canal avec une limitation de puissance moyenne, p639
25. La capacité du canal avec un pic de limitation de puissance, p642

Partie V : La fréquence pour une source continue, p646

26. Fidélité des fonctions d’évaluation, p646
27. La fréquence de la source en fonction d’une évaluation de la fidélité, p649
28. Le calcul des fréquences, p650

Remerciements, p652
Appendice 5, p652
Appendice 6, p653
Appendice 7, p655

2.3 L’entropie, Figure 7

Dans le cas d’un signal binaire sans bruit, l’entropie présente plusieurs propriétés intéressantes qui, d’après Shannon, justifient son calcul. L’entropie représente la richesse en information d’un message. Soit un message constitué d’une suite de 0 et de 1, c’est lorsque la fréquence des 0 est statistiquement égale à celle des 1 que l’entropie et la quantité d’information susceptible d’être transmise sont maximales. Si un message ne contient que des 0 ou que des 1, son entropie est nulle et il ne transmet aucune information. Par analogie, la colonne d’une table de données qui contiendrait toujours la même information n’apporterait aucune variation dans l’information transmise et serait donc logiquement inutile. Le calcul de l’entropie peut être étendu à des systèmes comportant un plus grand nombre de valeurs discrètes comme dans le cas du morse, de l’alphabet.

shannon-entropy

2.4 Un système de correction, théorème 2, Figure 8

En présence de bruit, Shannon envisage dans son deuxième théorème la présence d’un « observateur » susceptible de corriger les données transmises de manière erronée. Une information supplémentaire correctrice est appliquée par l’observateur en vue de corriger les informations transmises de manière incorrecte. De manière pratique, sur les réseaux téléphoniques, la voie reste compréhensible en présence de bruit. Sur Internet par exemple, il est possible de s’assurer de l’intégrité des données transmises en calculant la somme de contrôle du fichier réceptionné et en la comparant avec celle d’origine, effectuant ainsi une sorte d’auto-rétroaction. En informatique cette fois-ci, un code correcteur est une technique de codage basée sur la redondance. Elle est destinée à corriger les erreurs de transmission d’un message dans un canal de communication peu fiable. En 2019, dans le processeur neuromorphique FSD de Tesla, des processeurs neuromorphes jumeaux dialoguent entre eux de manière cryptée, à l’image d’une conscience cybernétique en quelque sorte pour fournir des instructions d’assistance à la conduite automobile.

shannon-correction

3. Après la théorie

Le problème fondamental de la communication est celui de reproduire en un point, soit exactement soit approximativement un message sélectionné à un autre point.

Shannon

Shannon dans sa phrase d’introduction utilise le mot « point » pour symboliser à la fois l’émetteur et le récepteur. La localisation de l’information dans l’espace et le temps est donc envisagée. D’un côté l’information peut être transmise sur une distance, de l’autre elle peut être préservée et transmise dans le temps. La théorie traite indifféremment de l’information communiquée et mémorisée. La théorie de la communication (titre de l’article) est en fait une théorie de la transmission de l’information dans l’espace et le temps. Pour évoquer tout cela de manière concise, le nom de théorie de l’information a été retenu par les scientifiques.

Le mathématicien et ingénieur propose ensuite un cadre à sa théorie. Il exclue de son modèle l’aspect sémantique de l’information. Il se place à priori exclusivement dans le monde des machines communicantes, du traitement des signaux humains, de la linguistique, des codes et de leur fréquence. Sa théorie ne prend pas en compte les intentions de l’émetteur, ni l’attention nécessaire du récepteur, ni le contexte et les émotions générées. Trois éléments qui relèvent de la sémantique, de la psychologie, de la sociologie, du contexte.

L’émetteur émet un signal qu’il encode. Un canal de capacité limitée transmet le signal de manière bruitée. Le récepteur reçoit le signal et décode. Shannon prend en exemple de mémoire la carte perforée, en exemple de canal une paire de fils, un câble coaxial, une bande de fréquences radio, un faisceau de lumière. De nombreux dispositifs techniques sont cités comme le télégraphe ou le téléscripteur. Les exemples de messages sont des phrases écrites en morse ou en anglais. La structure des langues, les motifs répétés intéressent particulièrement le cryptographe. Ils interviennent à la fois pour favoriser la compréhension et peuvent servir d’accroche lorsqu’il s’agit de décoder un message crypté.

De manière générale, le message encode une logique partagée par l’émetteur et le récepteur. Un message incorrectement encodé ou un récepteur défaillant et l’information ne peut être transmise. Cependant, plusieurs supports peuvent contenir la même information. Des canaux différents peuvent transmettre une même information. Un même message peut être encodé de différentes manières, peut être compressé pour transiter par des canaux de capacité limitée, ou bien corrigé en cas d’erreur de transmission. La bande passante détermine les débits. Le mathématicien se place du côté du récepteur en attente d’un message. L’information résout alors une incertitude.

3.1 Quantifier et échantillonner l’information

Le bit (0 ou 1, oui ou non) reçu est défini comme unité logique et entière. Toute information transmise devient quantifiable en bits, comme l’énergie l’est en joule, la masse en kilogramme, la température en degré. Le nombre de bit peut caractériser la capacité d’une mémoire (le support), une vitesse de transmission en bit/s (le canal), une logique d’encodage (registre en 32 ou 64 bits d’un ordinateur, et au-delà du domaine des machines 4 bases possibles pour l’ADN, 22 acides aminés dans une protéine). Shannon propose ensuite le « diagramme schématique d’un système général de communication », la fameuse figure 1 reproduite en début d’article.

Toute information analogique peut être mathématiquement et physiquement transformée en information numérique sans perte en respectant une fréquence d’échantillonnage qui est une fonction de l’amplitude du signal. Un autre fameux article de Shannon publié en 1949 « Communication in the presence of noise » apporte une contribution majeure au Théorème d’échantillonnage. La PCM correspond effectivement à une numérisation de la voix. La fréquence d’échantillonnage entre en jeux pour calculer les pertes en cas de numérisation d’un signal analogique. Il est surtout possible de numériser sans perte de signal.

3.2 Entropie de Boltzmann et de Shannon

Prenez un numéro du New York Times, le livre sur la cybernétique, et un poids égal de papier de brouillon. Ont-ils la même entropie ? Oui, si vous vous en servez pour allumer le feu. Mais pas si vous êtes un lecteur. Il y a de l’entropie dans la disposition des taches d’encre.

Léon Brillouin

Variable d’état classique d’un système thermodynamique, l’entropie est surtout au fondement de la deuxième loi. Elle indique le sens de l’évolution d’un système expérimental clos, fait d’une paroi externe et d’un gaz parfait. Sans apport extérieur, le désordre qu’elle mesure ne peut qu’augmenter. Léon Brillouin tente de démontrer dans son livre de 1953 “Naissance de la théorie de l’information” l’équivalence entre l’entropie de Boltzmann et celle de Shannon. D’autres auteurs ne partagent pas ses conclusions. Un gaz parfait ne peut que difficilement être comparé à un ruban inscriptible de longueur infinie.

Quoiqu’il en soit, le calcul de l’entropie présente un intérêt pratique dans diverses disciplines. En génétique, l’entropie de Shannon permet de repérer sur un chromosome les portions d’ADN contenant le plus d’information. Les écologues utilisent le calcul de l’entropie pour mesurer la diversité des espèces dans un écosystème. Les sociologues mesurent l’indice de Theil fondé sur l’entropie pour observer la diversité des revenus dans une population par exemple.

3.3 Entropie et ADN, les cascades de l’information biologique

La fibre chromosomique contient, chiffré dans une sorte de code miniature, tout le devenir d’un organisme, de son développement, de son fonctionnement.

Erwin Schrödinger

Quelques mots supplémentaires doivent être ajoutés sur l’entropie et son usage au milieu du 20ème siècle. Schrödinger, un des fondateur de la physique quantique, publie en 1944 son fameux livre “What is life”. Cette publication rencontre un certain succès dans les milieux scientifiques. La notion d’entropie négative ou néguentropie, variable d’état caractéristique de la vie y est présentée. Pour Schrödinger,  l’information génétique se trouverait localisée dans des cristaux présents au niveau des noyaux des cellules eucaryotes. Le physicien autrichien dresse un portrait robot des fonctions que doit remplir la substance biochimique qui code l’information génétique. Localisée en un mince lieu favorable, la vie présente la caractéristique d’échapper sur le long terme à la seconde loi de la thermodynamique, du fait d’une information génétique transmise de génération en génération et fixée sur un support.

Caractérisé en 1953 à la suite d’une course intense entre britanniques et américains, la structure moléculaire de l’ADN – support de l’information génétique – est mise en évidence. En biologie, l’information se décline, est transmise, est inhibée, amplifiée et transformée à plusieurs niveaux. Calculée en nombre de paires de base, l’information génétique peut aussi être analysée et quantifiée en bits. L’ADN se trouve à l’origine d’une cascade d’informations de différentes natures. Il se réplique (l’ADN produit de l’ADN) en 2 bits (4 possibilités) dans le noyau cellulaire. Quatre choix de bases nucléiques (A, G, C, T) sont possibles pour la DNA polymerase. La transcription (l’ADN produit de l’ARN) se produit également en 2 bits. Quatre choix de bases nucléiques (A, G, C, U) sont possibles pour la RNA polymerase dans le but de synthétiser une molécule d’ARN.

La traduction (l’ARN produit des protéines) se produit dans le cytoplasme. Cette opération se fait en 6 bits. Une association logique est faite entre 3 bases d’ARN messager et un acide aminé. Ainsi, avec 3 bases, 64 codons sont possibles. 64 codons correspondant à 3 x 2² = 2 puissance 6 choix d’information possibles pour le ribosome. L’ARN codent pour 22 acides aminés, un codon start et un codon stop soit 24 choix possible. Quels que soient les êtres vivants, plusieurs codons codent pour le même acide aminé et le code génétique est alors dit « dégénéré ». L’ADN chromosomique et l’ADN mitochondrial constituent chez l’homme le génome.

Au niveau physiologique encore, une hormone peut être considérée comme un message analogique ciblant des récepteurs cibles et capable de moduler de multiples effecteurs. Pour une hormone, l’appareil cardiovasculaire est le canal.

La théorie de l’information modélise convenablement le fonctionnement de deux neurones. Un signal électrique transite depuis les dendrites par l’axone en direction des terminaisons et est transmis au deuxième neurone. Avec des réseaux de neurones disposés en plusieurs couches, le modèle ne semble pas approprié.

3.4 Shannon, le code génétique et le génome

La question qui peut alors se poser à l’historien est celle de savoir si Shannon connaissait les implications de sa théorie dans le domaine de ce qui lie fondamentalement l’homme à la nature, à savoir le code génétique et le génome. La thèse de Shannon concerne la génétique des populations. Cependant la théorie de l’information se rapporte aux outils de communication et de calcul créés par l’homme. Le livre de James Gleick de 2015 « L’information : l’histoire, la théorie, le déluge » propose un intéressant document d’archive confié par Elisabeth Shannon pour publication.

Dans ce manuscrit dont la date est estimée à 1949, simple liste écrite sur une feuille de classeur avec soin, Shannon compare les capacités de stockage en bits de différents objets et entités. Il trace un axe vertical nommé « bits storage capacity » (capacité de stockage en bits) échelonné en puissance de 10, de 10 puissance 0 à 10 puissance 13. En bas positionné sur 10 puissance 0, un relais ou une bascule synchrone (relay, flip flop) – 1bit. Viennent ensuite une roue crantée à 10 chiffres « digit wheel » 3×10 puissance 0 ; vers 10 puissance 3 : une carte perforée « punched card (all configs allowed)« ; vers 10 puissance 4 : frappe d’une page à interligne simple (32 symboles possibles). La constitution génétique de l’homme « genetic constitution of man » se trouve placée face à 10 puissance 5. D’autres items suivent « encyclopedia Britt » vers 10 puissance 9 et le tableau se termine en haut non loin de 10 puissance 15 par la bibliothèque du Congrès « library of congress« .

Pour Shannon, dès 1949, quatre ans avant la découverte de la structure moléculaire de l’ADN, six ans avant la définition du caryotype chez l’homme, nature et culture obéissent à une même logique, possiblement quantifiable en bits. La théorie de l’information concerne également les processus biochimiques génériques du vivant et donc la théorie de l’évolution. Se pourrait-il que certaines des idées de Darwin se retrouvent à la fois dans le vivant et dans les machines ? En tous cas, Shannon fait la rencontre aux Bell Labs de Mary Elizabeth Moore. Ils se marient en 1949 et auront trois enfants.

3.5 La cybernétique (1948-1956)

Je sais que j’ai été compris lorsqu’on m’a répondu

Shannon

3.5.1 Aux Etats-Unis

Sur fond de maccarthysme (1950-1954), le caractère multidisciplinaire de l’information, de la communication et de l’action inspire de nombreux scientifiques de différentes spécialités tels que Wiener, Von Neumann, Warren McCulloch, Margaret Mead, Lawrence Kubie. Wiener devient reconnu comme le fondateur de la “Cybernétique”, Shannon comme celui de la “Théorie de l’Information”.

Le mathématicien aborde en 1950 la théorie de la programmation du jeu d’échecs avec Programming a Computer for Playing Chess. Ce papier inspire tous les programmes d’échecs passés et actuels. Il construit la même année sa machine à jouer aux échecs.

L’ingénieur assiste en 1950, 1951 et 1953 aux conférences de la fondation Macy (1946-1956) dans lesquelles sont discutées conjointement des questions de physique, d’automatique, de psychologie et d’économie. Il y présente en 1952 un automate résolveur de labyrinthes construit avec Elisabeth Shannon pour le câblage des circuits. Une souris prénommée Thésée retrouve seule son chemin dans un dédale paramétrable. Un calculateur peut trouver de manière brute et mémoriser les solutions à un problème complexe.

Les modèles et processus de décision évoqués dans les réunions Macy concernent aussi bien les machines à calculer, que la neurophysiologie, la psychologie dans un esprit béhavioriste. Wiener y développe les concepts de « boîte noire« , d’action et de feedback (rétroaction). Ces mouvements de pensée influencent notablement les scientifiques de cette époque. Ainsi, George Armitage Miller publie en 1951 Language and Communication. Il deviendra quelques années plus tard avec Noam Chomsky l’un des fondateurs des Sciences cognitives. Gregory Bateson publie en 1951 Communication: The Social Matrix of Psychiatry, alors même que les travaux sur la propagande du publicitaire et sociologue Edward Bernays rencontrent un vif succès. Le caractère de science humaine ou de science dure de la cybernétique reste cependant discuté.

La métaphore animale devient à la mode. De multiples robots plus ou moins autonomes sont mis au point à cette époque, créés par des scientifiques de diverses disciplines, motorisés par batterie, contenant des capteurs et dirigés par électronique analogique. Précurseur, le neurobiologiste William Grey Walter s’intéresse à l’homéostasie dans le vivant. Il crée dès 1940 les tortues Elmer et Elsie, connues également sous le nom de tortues de Bristol. Elles réagissent aux sollicitations lumineuses et sonores. Marvin Minsky et Dean Edmonds créent le robot résolveur de labyrinthe SNARC en 1951. En France, Albert Ducrocq met au point en 1953 « Job le Renard électronique ».

Shannon publie en 1953, Computers and Automata. Cet article résume brièvement certains des développements récents dans le domaines des automates et du calcul non numérique. Des machines caractéristiques sont décrites, incluant des machines logiques, des machines jouant à des jeux, des machines capables d’apprendre. Des questions théoriques sont discutées, telles qu’une comparaison entre les calculateurs et le cerveau, la formulation de Turing des calculateurs et les modèles de Von Neumann de machines autoréplicatives. Cet article va stimuler comme nous allons le voir l’imagination de jeunes mathématiciens et ingénieurs.

Aux Etats-Unis, les calculateurs investissent le secteur bancaire. La Bank of America commande au Stanford Research Institute at Menlo Park un prototype de calculateur capable d’accélérer le traitement des chèques. Un prototype de calculateur à usage général nommé ERMA (Electronic Recording Machine, Accounting) est construit à Stanford de 1950 à 1955. Les premiers calculateurs fabriqués en série apparaissent aux Etats-Unis à cette époque.

La série UNIVAC est fabriquée par la Eckert-Mauchly Computer Corporation (EMCC). UNIVAC I, premier ordinateur commercial réalisé aux États-Unis est vendu au Bureau de recensement. Grace Hopper écrit pour cette machine un programme spécial A-0 system. Ce programme ancêtre des compilateurs transforme des spécifications en code machine. Le concept de compilateur émerge à cette époque et répond à l’importante question : comment parler à l’aide d’un seul langage à des machines qui comprennent des langues différentes ?

Des sociétés se créent et disparaissent ou évoluent à grande vitesse. EMCC est vendu en 1950 à Remington Rand qui fusionne à Sperry Corporation en 1955 pour devenir Sperry Rand. L’ERA 1101 ultérieurement nommé UNIVAC 1101 construit par Engineering Research Associates est annoncé publiquement en décembre 1951.

IBM initie la série 700/7000. L’IBM 701 sort en 1952. Des tubes de Williams servent pour la mémoire vive. Ils doivent être refroidis et s’avèrent peu fiables. Ils seront remplacés sur IBM 704 par la révolutionnaire mémoire à tores magnétiques mis au point précédemment par plusieurs personnes parmi lesquelles Jay Forrester, chef de projet sur Whirlwind I. Il met au point la machine au Servomechanisms Laboratory du MIT pour le compte de l’US Navy entre 1945 et 1951. Une âpre bataille juridique oppose les concepteurs du MIT à IBM pour l’exploitation ultérieure des brevets relatifs à cette mémoire.

La guerre froide joue un rôle dans le développement des nouvelles techniques de calcul à cette époque. La RAND corporation – à ne pas confondre avec Remington Rand – est fondée en 1948. Ce think-tank toujours en activité de nos jours est présent en différents états américains, à Bruxelles, Londres et au Moyen-Orient. Il produit des rapports d’expertise susceptibles d’influencer les politiques publiques en une multitude de domaines, essentiellement économiques, politiques et militaires. Son activité de recherche concerne également à cette époque le calcul et ses aspects théoriques. Ainsi John Nash y mène une activité d’expertise et publie en 1952 Some Games and Machines Playing them. Le laboratoire de Shannon aux Bell Labs est visité. Le jeu de plateau Hex est analysé. Nash en souligne dans son rapport certains intérêts en relation avec des stratégies militaires et politiques. La possibilité d’une attaque aérienne russe suivie d’un bombardement nucléaire des cités américaines est évoquée par les militaires relayés des médias.

3.5.2 Au Royaume-Uni

Mais revenons aux calculateurs si vous le voulez bien et traversons l’Atlantique. Côté britannique, des prototypes de machines de calcul retiennent l’attention après guerre. En 1946, Frederic Calland Williams invente le tube de Williams, un tube cathodique utilisable comme mémoire d’ordinateur. Il met au point en 1948 la Small-Scale Experimental Machine, premier ordinateur dont le programme est enregistré dans la même mémoire que les données. Cette machine sert de base au Manchester Mark I (1948) dessiné par Williams et Tom Kilburn. Le tandem renouvelle l’expérience sur Manchester Mark II. La société Ferranti se base sur ces travaux pour fournir en 1951 un des premier calculateur commercial d’usage général, le Ferranti Mark 1.

Constructeur d’engins de simulation pour les opérateurs radar, membre du Ratio Club et présent à Dartmouth, Albert Uttley construit de son côté en 1950 pour les télécommunication britanniques le TREAC Computer.

Turing entreprend à partir de la fin 1945 la construction de l’Automatic Computing Engine, premier calculateur capable d’exécuter des calculs en virgule flottante, finalisé en 1953. Il développe en 1948 Turochamp, un programme de jeu d’échecs inabouti. Il devient également membre du très britannique Ratio Club et publie en 1950 Computing machinery and intelligence. Un test de décision anthropomorphique maintenant appelé test de Turing est proposé. Pour Turing, l’esprit peut être fondamentalement caractérisé par sa capacité à communiquer à l’aide d’un langage humain. Le britannique disparaît en 1954 mais laisse une empreinte forte et durable sur les mathématiques appliquées et l’intelligence artificielle comme nous allons le voir plus loin.

Kathleen Booth invente de son côté le langage assembleur en 1948. Alors que le langage machine était le seul possible précédemment, l’assembleur est un langage de bas niveau, spécifique d’une machine, qui représente une série d’instructions sous une forme lisible par l’homme. Kathleen Booth base ce qui sera ultérieurement appelé l’assembleur sur des travaux théoriques débutés en 1947, alors qu’elle programme l’APE(X)C, une machine mise au point à l’Université de Birkbeck près de Londres par Andrew Donald Booth, son futur époux.

Leur calculateur est dédié à l’interprétation des spectres de diffraction des rayons X en vue d’analyser la structure de la matière cristallisée. Le couple est influencé dans ses avancées par la rencontre en 1947 de Von Neumann et Herman Goldstine à l’IAS. Les travaux de Princeton avec Bigelow portent alors sur la mise au point de la machine IAS (1953), première machine à architecture Von Neumann.

La compagnie Elliott Brothers construit en 1950 son premier calculateur numérique spécifique, l’Elliott 152. Il s’agit d’un prototype de calculateur fonctionnant à l’aide de tubes électronique dont le programme est dédié au calcul en temps réel du contrôle de tir des canons dans la marine. A coté de ces machines dédiées, la société se montre ultérieurement active dans la fabrication de calculateurs généraux et dans la fabrication de systèmes automatiques civils. Elle change de nom en 1957 pour devenir Elliott Automation Ltd.

3.5.3 En france

Côté français, les accueils de la cybernétique et de la théorie de l’information se montrent globalement mitigés. Cependant, Dominique Dubarle, logicien et philosophe, a lu et compris Neumann, Wiener, Descartes, Hobbes et quelques autres. Il publie dans Le Monde en 1948 Vers la machine à gouverner auquel il oppose Le meilleur des Mondes de Huxley. Claude Lévi-Strauss, anthropologue et sociologue, se montre lui aussi influencé par le courant de pensée. Il publie en 1955 Les mathématiques de l’homme. Le franco-américain Léon Brillouin, physicien et professeur de mathématique appliquée à Harvard de 1947 à 1949 publie en 1956 Science and Information Theory, traduit en français en 1958. Il remarque par exemple qu’un jeu de 32 cartes est susceptible d’être codé en 5 bits. Certaines des relations entre les lois de l’information, des probabilités, de la thermodynamique et des automates sont explorées.

Du côté des fabricants de calculatrices, l’ingénieur François-Henri Raymond a l’occasion de rencontrer en 1945 Haiken à Harvard. Fortement impressionné, il fonde en 1948 la Société d’Electronique et d’Automatisme (SEA). Des séries de calculateurs électroniques analogiques sont construits et vendus en France de 1950 à 1960 environ par la Société d’Electronique et d’Automatisme. Faisant suite à la calculatrice C3, Bull présente la Gamma 2 au salon du SICOB d’octobre 1951. La version commerciale Gamma 3 (1952-1960) rencontre un grand succès avec 1000 exemplaires vendus. IBM poursuit en France la construction de différents modèles dans son usine de Corbeil-Essonnes. L’effectif dépasse les 1000 employés en 1954.

3.5.4 En URSS

Les premiers calculateurs russes fabriqués en série sont datés de 1953. Le Strela est fabriqué à sept exemplaires dans les années 1953 à 1957. Ils utilisent pour leur mémoire vive des tubes de Williams ainsi que des mémoires ROM pour stocker les programmes. Les données sont stockées sous forme de cartes perforées et de bandes magnétiques. Bashir Rameev joue un rôle majeur dans la conception de ces machines localisées de l’autre côté du rideau de fer.

3.6 L’effet de mode 1956

Une certaine effervescence règne à cette époque de part et d’autre de l’Atlantique. Suite au bon fonctionnement des prototypes, les calculateurs IBM, Ferranti et Bull sont fabriqués en série pour des applications militaires, scientifiques, de gestion, de jeu et de théories. Plusieurs événements significatifs pour la carrière de Shannon vont alors se dérouler successivement en 1955 et 1956.

3.6.1 Le projet de recherche de Dartmouth

John McCarthy, Marvin Minsky, Nathaniel Rochester et Shannon proposent formellement le 31 août 1955 la tenue d’une conférence qui doit se dérouler un an plus tard. Le terme Intelligence artificielle est choisi par McCarthy, jeune enseignant de mathématique à l’université privée de Dartmouth. Le groupe entend se démarquer du courant Cybernétique de Wiener. Le titre retenu est le suivant : Dartmouth Summer Research Project on Artificial Intelligence. Les financements réunis par McCarthy proviennent de la fondation Rockefeller. L’un des participants, Solomonoff a eu l’heureuse idée d’archiver et de mettre en ligne les documents qui témoignent de l’événement original. La page personnelle de McCarthy contient certains documents transcrits.

Les réalisations effectives et propositions de recherche des quatre organisateurs de la conférence sont ensuite détaillées. Il est rappelé que Shannon a développé la théorie statistique de l’information, a travaillé sur les circuits de commutation, la conception de machines apprenantes, la cryptographie et la théorie des machines de Turing. Minsky, un jeune doctorant de Harvard diplômé en mathématique, a construit une machine, le SNARC, qui simule l’apprentissage par des réseaux de neurone. Sa thèse soutenue en 1954 s’intitule « Neural Nets and the Brain Model Problem« .

Rochester travaille à IBM. Il s’est occupé du développement des radars pendant sept ans, des calculateurs pendant sept ans. Il a contribué à la construction de l’IBM 701 et travaille également sur les réseaux de neurones artificiels sur IBM 704.

McCarthy a travaillé sur la théorie des machines de Turing, la vitesse des calculateurs, la relation cerveau environnement et l’usage des langages par les machines.

L’appel à rassemblement propose sept thèmes. 1/ Les calculateurs automatiques, l’écriture de langages de programmation fonctionnels; 2/ La programmation d’un calculateur dans le but de manipuler des textes, implémentation d’une grammaire et d’une logique dans les langages de programmation; 3/ Les réseaux de neurones, arrangement des réseaux pour faire émerger la notion de concept. Les travaux de Uttley, Raschevsky, Farley et Clark, Pitts et McCulloch, Minsky, Rochester et Holland sont cités; 4/ Théorie de la complexité d’un problème de décision, la complexité des fonctions nécessaires, Shannon, McCarthy; 5/ L’auto-amélioration, théories de l’auto-amélioration de machines intelligentes; 6/ Abstractions, classification des types d’abstraction et de leur usage par les machines; 7/ Rôle du hasard et de l’intuition dans la créativité.

Parmi les personnalités citées dans l’appel, Albert M. Uttley s’intéresse au Royaume-Uni à la conception d’un calculateur à probabilité conditionnelle. Il a construit le TREAC Computer pour les télécommunications britanniques. Nicolas Rashevsky souvent cité par McCarthy publie sur les fondements physico-mathématiques de la biologie. Actifs au MIT, Belmont Farley et Wesley Clark s’intéressent à la reconnaissance des formes. Ils parviennent à simuler sur calculateur en 1954 et 1955 sur IBM 704 l’entrainement d’un réseau de 128 neurones artificiels dans le but de reconnaître des motifs visuels simples. Ils découvrent de plus que la destruction aléatoire de jusqu’à 10% des neurones n’affecte pas la performance globale. Ils communiquent Generalization of pattern recognition in a self-organizing system à la conférence Session of Learning Machines de 1955.

Walter Pitts et Warren Sturgis McCulloch font figure de véritables pionniers de l’IA avec leur neurone formel, modèle mathématique et informatique d’un neurone biologique. Ils publient dans le Bulletin of Mathematical Biophysics A Logical Calculus of the Ideas Immanent in Nervous Activity et concluent avec emphase que tout comme une machine de Turing, un réseau de neurones pourvu de dispositifs afférents et efférents adéquats peut faire n’importe quel type de calcul mathématique. Walter Pitts est un jeune logicien ancien élève de Rashevsky qui va contribuer à fonder les sciences cognitives. Neurophysiologiste, McCulloch travaille depuis 1952 au Research Laboratory of Electronics du MIT. Ses études portent sur la perception des signaux visuels. Il a joué précédemment un rôle actif régulier aux conférences de Macy (1946-1953).

John Henry Holland est un jeune diplomé en psychologie, mathématique et électrotechnique. Il publie en 1956 avec Rochester : Tests on a cell assembly theory of the action of the brain, using a large digital computer. Des réseaux de neurones sont simulés sur IBM 704. La formation d’assemblages automatique de cellules à partir d’un réseau non organisé de neurones est démontrée, ainsi qu’un mécanisme plausible pour une mémoire à court terme.

Les candidats à la participation doivent décrire leurs travaux dont les idées peuvent être critiqués pendant le mois précédant la période de travail. Des séminaires de recherches et travaux en sous-groupes sont prévus et possibles sur une durée de deux mois. Vingt personnes se réunissent finalement à Dartmouth de fin juin à août 1956. Une liste de quarante-sept personnes potentiellement intéressées par un compte-rendu est dressée par McCarthy.

Parmi les présents W. Ross Ashby (psychiatre), Julian Bigelow (ingénieur concepteur de la machine IAS), Tom Etter, John Holland (psychologue, ingénieur), Donald M. MacKay (physicien), Warren S. McCulloch (neurophysiologiste, cybernéticien), Trenchard More (mathématicien, ingénieur), John Nash (mathématicien, expert RAND), Allan Newell (mathématicien, expert RAND), Herbert Simon (psychologue), Abraham Robinson (mathématicien), Arthur Samuel (ingénieur), David Sayre (ingénieur, membre de l’équipe des programmeurs de Backus, créateur de FORTRAN en 1957), Oliver Selfridge (ingénieur), Ray Solomonoff (mathématicien).

L’une des interventions remarquable est celle faite par Simon, Newell et Shaw. Comme le précise McCarthy dans ses mémoires, ceux-ci décrivent la deuxième version du langage IPL (Information Processing Language), un langage du type assembleur qui permet la gestion des listes chaînées. Il est implémenté uniquement à cette époque sur le JOHNNIAC de la Rand Corporation. Le trio expose la réalisation d’un programme écrit à l’aide de ce langage, le Logic Theorist. Celui-ci prouve 38 des 52 théorèmes du Principia Mathematica, ouvrage de Whitehead et Russell considéré comme un des livres les plus influents de l’histoire de la logique. Le programme basé sur l’exploration d’un arbre de recherche trouve des preuves nouvelles et parfois plus élégantes à certaines des démonstrations. Un type restreint d’intelligence que l’on croyait précédemment réservé à l’homme – la logique mathématique – peut être avantageusement confié à des calculateurs pourvus d’un langage. Certains raisonnements peuvent être mécanisés. La nécessité d’un langage de haut niveau apparaît. Les deux premières réalisations seront nommées Fortran (1957), en cours de rédaction à l’époque de Dartmouth, et Lisp (List processing) publié par McCarthy en 1958.

[We] invented a computer program capable of thinking non-numerically, and thereby solved the venerable mind-body problem, explaining how a system composed of matter can have the properties of mind.

Herbert Simon

Du calcul des prédicats émerge progressivement en histoire de l’intelligence artificielle une logique possiblement floue. Des réseaux de neurones artificiels peuvent effectuer des tâches complexes. Des programmes informatiques explorent des graphes en vue de démontrer des théorèmes, de jouer à des jeux ou de synthétiser de la musique. Malade en 1956, Von Neumann décède l’année suivante. Quatre membres de la conférence de Dartmouth recevront ultérieurement le prix Turing (Minsky, McCarthy, Simon, Newell), deux autres le prix Nobel d’économie (Simon en 1978, Nash en 1994). Le cinquantième anniversaire du colloque commémoré en 2006 expose les défis de l’intelligence artificielle pour les cinquante ans à venir !

3.6.2 Automata Studies

Déjà en préparation lors de l’appel à réunion, Shannon et McCarthy publient en 1956 « Automata Studies » dans le volume 34 de Annals of Mathematics Studies. Ce volume de 300 pages réédité cinq fois jusqu’en 1972 rassemble des articles de Shannon, McCarthy, Ashby, Culbertson, Davis, Kleene, Leeuw, MacKay, Minsky, Moore, Shapiro, Uttley, Von Neumann. Il y est essentiellement question de plusieurs théories nécessaires au développement des calculateurs. Kleene, von Neuman, Culbertson Minsky et Moore développent la notion d’automate fini.

Ainsi Kleene, dans Representation of Events in Nerve Nets and Finite Automata réinterprète les travaux précédents de McCulloch et Pitts sur les réseaux de neurones pour en fournir une interprétation fondatrice de la Théorie des automates. La notion d’expression régulière est introduite. Ce qui est maintenant connu comme théorème de Kleene en informatique théorique affirme qu’un langage est régulier (rationnel) si et seulement s’il est reconnu par un automate fini. Les langages réguliers correspondent au niveau le plus fondamental (niveau 3) de la hiérarchie des langages formels, introduite par Noam Chomsky, membre du MIT, dans son article de 1956 Three models for the description of language et développé ultérieurement. Ainsi, une expression régulière telle que « /^[^\W][a-zA-Z0-9_]+(\.[a-zA-Z0-9_]+)*\@[a-zA-Z0-9_]+(\.[a-zA-Z0-9_]+)*\.[a-zA-Z]{2,4}$/ » identifie une adresse mail valide et peut être représentée sous la forme d’un graphe symbolisant l’action d’un automate fini.

Shannon publie un article sur une machine de Turing universelle à deux états. Pour Chomsky, la machine de Turing correspond au niveau le plus complexe de la hiérarchie des langages formels (niveau 0). Après évocation des travaux de Descartes dans « De Homine« , Shannon et McCarthy poursuivent la rédaction de leur éditorial dont un court extrait est ici traduit.

Le problème de donner une définition précise au concept de « penser » et de décider si une machine donnée est capable ou non de penser a provoqué de grandes discussions animées. Une définition intéressante a été donnée par A. M. Turing: une machine est qualifiée capable de penser si elle peut, sous certaines conditions prescrites, imiter un être humain en répondant suffisamment bien à des questions pour tromper un interrogateur humain pendant une période raisonnable de temps. Une définition de ce type a pour avantage d’être opérationnelle, ou, dans le vocabulaire des psychologues, de nature béhavioriste. Les notions métaphysiques de conscience, d’ego et notions analogues ne sont alors pas nécessaires. Automata Studies, 1956

3.6.3 Le wagon orchestre

La théorie de l’information a peut être été exagérée, considérée au-delà de ses réalisations effectives.

Information theory has perhaps ballooned to an importance beyond its actual accomplishment.

Shannon

La créativité et le doute sont sans doute deux des moteurs antagonistes de la méthode scientifique. Cette même année 1956, Shannon s’attache à expliquer les limites de la Théorie de l’information dans son article de 1956, The Bandwagon, la « voiture orchestre » – l’effet de mode nommé métaphoriquement par les psychologues en référence au véhicule qui joue lors d’un défilé électoral aux Etats-Unis. Les systèmes biologiques sont, estime Shannon trop complexes pour être modélisés par la seule théorie de l’information, le seul béhaviorisme, la seule psychanalyse, la seule logique mathématique. Les données de la psychologie, en particulier de la psychologie sociale, de l’économie et d’autres sciences humaines doivent être analysées scientifiquement avant qu’une théorie complète de la communication chez l’homme ne puisse être élaborée. La théorie doit être considérée avec recul et son étendue à d’autres disciplines qu’au traitement des signaux, qu’aux machines et aux calculateurs résulte sans doute d’un enthousiasme excessif.

Par ailleurs, Shannon quitte progressivement à cette époque les Bell Labs pour poursuivre une carrière universitaire au MIT. Il devient ainsi professeur invité du Research Laboratory of Electronics au MIT en 1956, professeur permanent en 1958, professeur émérite en 1978 pour faire valoir ses droits à la retraite. Il reste cependant affilié aux Bell Labs jusqu’en 1972.

Conclusion

J’ai travaillé à mes moments perdus sur une analyse de certaines propriétés fondamentales des systèmes généraux de transmission de l’intelligence.

Lettre de Shannon à Vanevar Bush, 16 février 1939

Plusieurs implications semblent se dégager de la théorie de l’information. Dans le cadre d’une élection par exemple, lorsqu’un référendum est organisé, un bit d’information est transmis d’un individu à une urne, dispositif physique rendant possible le calcul de choix communs. Alors que disparaissent progressivement les pièces, billets de banque et chèques, les monnaies et autres systèmes de paiement peuvent être observées au prisme des lois de l’information. Dans le domaine médical, un stimulateur cardiaque par exemple, sorte de directeur cybernétique, vient réguler les pulsations lorsque celles-ci s’avèrent irrégulières.

L’étude aussi exhaustive que possible des calculateurs généraux de première génération met bien en évidence des relations de filiation entre les machines et les langages qu’elles comprennent, basées sur le nom des concepteurs et le succès ou non de l’entreprise sur le marché des calculateurs électroniques, sur la persistance de programmes tels que les compilateurs et les langages de haut niveau. Ainsi les machines de Zuse KG rencontrent le premier un succès dans l’immédiat après-guerre, alors que le langage Plankalkül ne parvient à la postérité que de manière anecdotique. Les machines construites par Eckert, Mauchly et Von Neumann donnent lieu à la série UNIVAC. Le prototype Whirlwind de 1951 voit sa mémoire à tores magnétiques largement adoptée par plusieurs séries incluant le mythique IBM 704 (1954) – calculateur des premiers réseaux de neurones, le AN/FSQ-7 (1956) développé dans un cadre militaire, et le Ferranti Mercury (1957).

En France, IBM propose en 1955 le nom « ordinateur » pour son modèle IBM 650 produit à plus de 2000 exemplaires, première machine de série destiné à la gestion. La société Bull réplique en proposant « ordonnateur » pour désigner le modèle scientifique de son calculateur Gamma. L’Académie Française adopte en 1967 le mot informatique afin de désigner la « science du traitement de l’information » ou plus exactement la « Science du traitement rationnel, notamment par des machines automatiques, de l’information considérée comme le support des connaissances humaines et des communications dans les domaines techniques, économiques et sociaux ». Le terme de Systémique est actuellement préféré à celui de Cybernétique, dont seul les aspects militaires ont été retenus par la langue.

Shannon est considéré comme l’un des pionniers de l’intelligence artificielle pour ses travaux dans lesquels théorie et pratique se croisent. Il met au point plusieurs automates électromécaniques au début des années 50, s’intéresse également à la programmation du jeu d’échecs, organise la conférence de Dartmouth considérée comme une étape importante dans l’histoire de l’informatique et de l’intelligence artificielle. Une faible part de ses travaux a été ici survolée et replacée aussi bien que possible dans le contexte des époques traversées. Quelques vidéos en annexe souvent en anglais donnent la parole aux acteurs, montrent des machines, évoquent des histoires d’entreprises.

Dernière petite précision : le mathématicien prend plaisir à pratiquer le monocycle, à jongler, à construire des machines apparemment inutiles, amusantes. Un jeu se caractérise par une quantité d’information visible du joueur et une quantité inconnue en provenance du partenaire, de l’adversaire ou du système. La théorie des jeux doit pour Shannon être mise en électronique. Sa maison est remplie d’inventions parmi lesquelles on peut mentionner le THROBAC, un calculateur qui fait des opérations arithmétiques en chiffres romains, une machine à jongler avec trois balles. Il invente le jeu des commutations dans lequel deux joueurs s’opposent en s’appropriant les nœuds d’un graphe. Une machine reconstitue le Rubik’s Cube. Avec l’Ultimate Machine – étrange automate à portée philosophique dont l’idée originale est à porter au crédit de Marvin Minsky – il est possible de dire que tout finit, tout commence par un déclenchement.

Quelques liens

A. Musées, archives, histoire, généralités et théories

  • Crypto Museum, cryptomuseum.com, a virtual museum in the Netherlands : Lien
  • Computer History Museum (CHM) : Lien
  • History of Computers (HOC) : HOC
  • cyberneticzoo.com, a history of cybernetic animals and early robots : Lien
  • FEB-patrimoine (Bull) : Lien
  • La chronologie et les prémices des ordinateurs (1931 à 1959) : Lien
  • Calculatrice mécanique : Lien; Mécanographie : Lien, Vidéo 1:54; Histoire de l’informatique : Lien, Histoire des ordinateurs : Lien; Chronologie de l’informatique : Lien; Histoire de la cryptologie : Lien; Histoire de l’intelligence artificielle : Lien; Informatique théorique : Lien; Méthode formelle (informatique) : Lien; Théorie des jeux : Lien; Théorie des automates : Lien; Switching circuit theory : Lien; History of computing hardware : Lien; List of vacuum tube computers : Lien; Semi-automatic ground environment (SAGE system) : Lien
  • IBM 704 sings Daisy Bell with MUSIC (1962), Bell Labs, Mathews : Vidéo 1:48; HAL 9000 sings Daisy Bell, 2001 Odyssée de l’espace, Kubrick, 1968 : Vidéo 1:14

B. Langages, architectures

  • Calculateur analogique : Lien, Lien HOC
  • Entropie (thermodynamique) : Lien, Vidéo 10:05
  • Director (military) : Lien; Fire-control system : Lien
  • Programme d’échecs : Lien; Turochamp, Turing (1948) : Lien
  • Machine de Turing (1936), Turing : Lien, Vidéo 7:30
  • Logique des fluides (1936), Vladimir Lukyanov : Lien
  • General Purpose Analog Computer (1941), Shannon, théorie du calculateur analogique : Lien
  • Néguentropie (1944), Schrödinger : Lien
  • Architecture de type Harvard (1944) : Lien
  • Architecture de Von Neumann (1945) : Lien
  • Plankalkül (1942-1945) : Lien
  • Langage machine : Lien
  • Assembleur (1947-), Booth : Lien
  • Cathode-ray tube amusement device (1947), jeu électronique : Lien
  • Entropie de Shannon (1948) : Lien, Vidéo 16:03
  • Cybernétique (1948) : Lien, Vidéo 5:16
  • Automate fini : Lien, Vidéo 8:27
  • Berthie the Brain (1950), jeu de tic-tac-toe, Canada : Lien
  • Shannon switching game (1951) : Lien
  • Jeu Hex (1951), Shannon, Edward F. Moore : Lien
  • A-0 System (1951), Hopper : Lien
  • Speedcoding (1953), langage sur IBM 701, Backus : Lien
  • Réseau de neurones artificiels (1954), Farley, Clark : Lien
  • Information Processing Language (1956-1966), sur JOHNNIAC et IBM, RAND corporation, Newell, Simon, Shaw : Lien
  • Logic Theorist (1956), JOHNNIAC, Newell, Simon, Shaw : Lien
  • Intelligence artificielle (1956-) : Lien
  • Fortran (1957-), langage de haut niveau, Backus : Lien, Vidéo 12:55
  • Lisp (1958-), langage de haut niveau, McCarthy : Lien
  • Loi de Moore (1965) : Lien
  • James Watson sur comment il a découvert l’ADN, (1953, 2005) : Vidéo 20:11
  • Le stockage de données sur ADN décolle ? (2017), Le Temps : Lien
  • Tesla FSD Computer (Hardware 3), un exemple d’architecture neuromorphe sécurisée ? (2019) : Lien , Lien

C. Personnalités citées

  • Leonardo Torres Quevedo (1852-1936), automatique, calculateurs : Lien
  • Ralph Hartley (1888-1970), télécommunications : Lien
  • Léon Brillouin (1889-1969), physique : Lien
  • Vannevar Bush (1890-1974), mathématiques appliquées : Lien, HOC, Vidéo 4:39
  • Gilbert Vernam (1890-1960), cryptologie : Lien
  • Norbert Wiener (1894-1964), cybernétique : Lien, HOC
  • Warren Weaver (1894-1978) : Lien,
  • Warren McCulloch (1898-1969) : Lien
  • Howard Aiken (1900-1973), Harvard Mark series : Lien
  • Vladimir Lukyanov (1902-1980), intégrateur hydraulique : Lien
  • Louis Couffignal (1902-1966) : Lien
  • John von Neumann (1903-1957) : Lien, Vidéo 56:43
  • John Vincent Atanasoff (1903-1995), calculateurs : Lien
  • Gregory Bateson (1904-1980) : Lien
  • George Stibitz (1904-1995), Bell Laboratories machines : Lien, Vidéo 7:59
  • Tommy Flowers (1905-1998) : Lien
  • Grace Hopper (1906-1992) : Lien
  • John William Mauchly (1907-1980), ENIAC, EMCC : Lien
  • Victor Shestakov (1907-1987) : Lien
  • Conny Palm (1907-1951) : Lien
  • Stephen Cole Kleene (1909-1994), Théorie des automates : Lien
  • William Grey Walter (1910-1977) : Lien
  • Konrad Zuse (1910-1995), Zuse KG, Plankalkül : Lien, HOC
  • John Robinson Pierce (1910-2002), PCM, informatique musicale, … : Lien
  • Frederic Calland Williams (1911-1977) : Lien
  • Alan Turing (1912-1954) : Lien, HOC
  • Julian Bigelow (1913-2003), Machine IAS, Macy, Dartmouth : Lien
  • Herman Goldstine (1913-2004) : Lien
  • François-Henri Raymond (1914-2000) : Lien
  • Claude Shannon (1916-2001) : Lien, Vidéo 4:14, Vidéo 8:23, Vidéo 29:31
  • Herbert Simon (1916-2001) : Lien
  • Andrew Donald Booth (1918-2009) : Lien
  • Floyd Steele (1918-1995) : Lien
  • Jay Wright Forrester (1918-2016), Whirlwind, mémoire à torres magnétiques : Lien
  • Bashir Rameev (1918-1994), Strela : Lien
  • John Eckert (1919-1995), ENIAC, EMCC : Lien
  • Nathaniel Rochester (1919-2001), IBM : Lien
  • Albert Ducrocq (1921-1987) : Lien, Vidéo 10:27
  • Kathleen Booth (1922-), assembleur : Lien
  • John Backus (1924-2007), FORTRAN, IBM : Lien
  • Max Mathews (1926-2011), informatique musicale : Lien, Vidéo 6:56
  • Allen Newell (1927-1992), RAND Corporation : Lien, Vidéo 16:33
  • John McCarthy (1927-2011), mathématiques appliquées : Lien, Vidéo 27:31
  • Marvin Minsky (1927-2016), intelligence artificielle : Lien, Vidéo 30:35

D. Artefacts dédiés au contrôle ou au calcul

Des machines ou bien des composantes de machines agencées en architectures et mues par des langages contribuent à l’émergence des calculateurs de première génération. Des solutions analogiques fournissent des résultats ingénieux et remarquablement pertinents à certaines questions.

d.1 Calculateurs généraux et appliqués

  • Abaque, boulier, arithmétique : Vidéo 10:33
  • Clepsydre de Ctésibios : Lien, Vidéo 0:11
  • Machine d’Anticythère (87 av. J.-C.), calculateur analogique, astronomie : Lien, Vidéo 7:51
  • Régulateur à boule (1764), James Watt, machine à vapeur : Lien
  • Arithmomètre (1820), Thomas de Colmar : Lien
  • Servo-moteur (1859), Joseph Farcot : Lien
  • Machine à prévoir les marées (1873-1970), Lord Kelvin (William Thomson), navigation en mer : Lien
  • Analyseur différentiel (1876), James Thomson : Lien
  • Tabulatrice (1890), Herman Hollerith : Lien
  • Telautomaton (1898), Nikola Tesla, télécommande, bateau : Lien
  • Telekine (1903), Torres Quevedo, télécommande, bateau : Lien
  • Machines joueuses d’échecs, El Ajedrecista (1914, 1920), Torres Quevedo : Lien, HOC, Vidéo 0:25
  • Arithmomètre électromécanique (1920), Torres Quevedo : Lien
  • Enigma (1923-1945), calculateur cryptologique : Lien, Vidéo 3:45
  • Analyseur différentiel de Bush (1927-1944), calculateur général analogique : Lien, Vidéo 2:59
  • Calculateur Mallock (1933), Cambride, UK : Lien
  • Intégrateur à eau (1936), Vladimir Lukyanov, calculateur : Lien
  • Mémoire à tambour (1936), Tauschek, Engineering Research Associates, IBM, mémoire de masse : Lien
  • Model K (1937), Stibitz : Lien, HOC, Vidéo 7:59
  • Bombe cryptologique (1939-1945), UK, US, calculateur de cryptanalyse : Lien, Vidéo 6:14
  • Vocodeur, The Voder (1939), télétransmission, synthèse vocale : Lien, Vidéo 6:17
  • Torpedo Data Computer (1940), marine de guerre : Lien
  • Calculatrice électromécanique Bull C3 (1940), calculateur mécanographique : Lien
  • Machine de Lorentz (1940-1945), calculateur cryptologique : Lien
  • Mark 8 Fire Control Computer (1944), lutte antiaérienne : Lien
  • IBM 604 (1948), calculateur mécanographique : Lien
  • MONIAC (1949), Phillips, New Zealand, économie : Lien, Vidéo 4:36
  • Machine joueuse d’échec (1950), Shannon : Lien
  • Thésée, La souris électrique (1951, 1952), Shannon : Lien, Lien, Vidéo 7:23
  • SNARC, le résolveur de labyrinthe (1951), Minsky : Lien, Vidéo 2:09
  • Machine inutile (1952), Minsky, Shannon : Lien
  • Mémoire à tores magnétiques (1955-1975), mémoire vive : Lien, Vidéo 3:04

D.2 Calculateurs électroniques de première génération

  • Atanasoff-Berry computer (1937-1942), Atanasoff : Lien, HOC, Vidéo 5:39
  • Zuse 3 (1941-1943), Zuse : Lien, Vidéo 5:11
  • Colossus (1943 – 1945), UK : Lien, Vidéo 5:32
  • SIGSALY (1943 – 1946) : Lien, Lien, Vidéo 9:01
  • Harvard Mark I (1944-1948), Aiken : Lien, HOC, Vidéo 2:26
  • Machine IAS (1945-1951), Princeton, Von Neumann, Bigelow, Goldstine : Lien
  • ENIAC (1945-1955), Eckert, Mauchly : Lien, Vidéo 2:15
  • Model V (1946-1947), Stibitz : Lien, Lien
  • MADDIDA (1946), Northrop Corp., Floyd Steele : Lien
  • Z4 (computer) (1947), Zuse : Lien, Vidéo 2:50
  • Harvard Mark II (1947), Aiken : Lien, Vidéo 3:55 CHM
  • Small-Scale Experimental Machine, « Baby computer », (1948), Williams, Killburn, Tootill, UK : Lien,
  • EDSAC (1949), Cambridge, Wilkes, UK : Lien
  • Manchester Mark I (1949), Williams, Killburn, UK : Lien
  • Whirlwind I (1949-1980), Forrester, MIT, US Navy : Lien, Vidéo 1:21
  • BINAC (1949), Northrop Corp., Eckert, Mauchly : Lien, Vidéo 12:35
  • EDVAC (1949), Eckert, Mauchly, Neumann : Lien
  • CSIRAC, CSIR Mk 1 (1949), Pearcey, Beard, Australia : Lien
  • Model VI (1949), Bell Labs : Lien
  • BARK (computer) (1950), Conny Palm, Suède : Lien
  • TRE Automatic Computer (TREAC) (1950), A. Uttley, R. H. A. Carter, UK : Lien
  • SEAC (1950), Alexander, National Bureau of Standards : Lien
  • ERMA (Electronic Recording Machine, Accounting) (développé de 1950 à 1955), Stanford Research Institute, Noe, Banque : Lien
  • UNIVAC I (1951), Eckert, Mauchly, premier ordinateur commercial officiel, United States Census Bureau : Lien
  • Ferranti Mark 1 (1951), F.C. Williams, T. Kilburn, UK : Lien
  • LEO I (1951), Standingford, Thompson, Caminer, J. Lyons and Co., UK : Lien
  • UNIVAC 1101 (1951), Eckert, Mauchly : Lien
  • ILLIAC series (1951-1974), Univ. of Illinois : Lien
  • UNIVAC 1100/2200 series (1951-), Sperry Univac, Remington Rand : Lien
  • Memory Test Computer (1952), MIT, IBM
  • ORDVAC (1952), Aberdeen ballistic research, Univ. Illinois : Lien
  • ILLIAC I (1952), Univ. Illinois : Lien
  • MANIAC I (1952), Los Alamos Nat. Lab., Von Neumann, Metropolis : Lien
  • Automatic message accounting (1952), Bell System : Lien
  • All Purpose Electronic (X) Computer (1952), Booth, UK : Lien
  • IBM 701 (1952), Rochester : Lien
  • Bull, série Gamma 3 (1952-1960) : Lien 1, Lien 2
  • BESK (1953), Suède : Lien
  • SILLIAC (1953), Australia : Lien
  • Série IBM 700/7000 (1953) : Lien
  • Automatic Computing Engine (1953), Turing, UK : Lien, Vidéo 10:26
  • JOHNNIAC (1953), Princeton : (1953-1966), RAND Corporation, Langage IPL : Lien
  • Strela Computer series (1953), USSR : Lien
  • IBM 650 (1954), le mot ordinateur est créé : Lien
  • Bull, Gamma ET (1954), nom commercial : ordonnateur
  • IBM 702 (1954) : Lien
  • IBM 704 (1954) : Lien, Vidéo 4:22
  • TRADIC (1954), Bell Labs, premier calculateur à transistors : Lien
  • AN/FSQ-7 (1956), IBM, USAF : Lien

E. Quelques publications

  • Whitehead, 1898, A treatise on Universal Algebra with Applications, Lien
  • Whitehead, Russell, 1910-1913, Principia Mathematica, Lien
  • Couturat, 1914, The Algebra of Logic, Lien, L’Algèbre de la Logique, 1905
  • Torres Quevedos, 1915, Essais sur l’automatique. Sa définition, Étendue théorique de ses applications, Revue générale des Sciences, Lien
  • Turing, 1936, On Computable Numbers, with an Application to the Entscheidungsproblem, PLMS, Lien
  • Shannon, 1937, Master thesis, 1938, A Symbolic Analysis of Relay and Switching Circuits, TAIEE, Lien, Lien, Lien
  • Shannon, 1936-1940, Ph.D. thesis, An algebra for theoretical genetics, Lien
  • Shannon, 1941, Mathematical theory of the differential analyzer, Lien
  • Schrödinger, 1944, What is life ? : Lien
  • Von Neumann, Morgenstern, 1944, Theory of Games and Economy : Lien (résumé)
  • Shannon, 1945, A Mathematical Theory of Cryptography : Lien
  • Shannon, 1948, A Mathematical Theory of Communication, Bell System Technical Journal, Vol. 27 (July and October), pp. 379-423 and 623-656, Lien
  • Wiener, 1948, Cybernetics: Or Control and Communication in the Animal and the Machine, Lien
  • Dubarle, 1948, Vers la machine à gouverner…, Le Monde
  • Shannon, Weaver, 1949, The Mathematical Theory of Communication : Lien
  • Shannon, 1949, Communication in the Presence of Noise, Proceedings of the IRE : Lien
  • Shannon, 1949, Communication Theory of Secrecy Systems, Bell System Technical Journal, 28 (4): 656–715 : Lien
  • Turing, 1950, Computing machinery and intelligence, MindLIX (236): 433–460 : Lien
  • Shannon, 1950, Programming a Computer for Playing Chess, : Lien, Lien
  • Miller, 1951, Language and Communication : Lien
  • Bateson, Ruech, 1951, Communication et Société : Lien
  • Nash, 1952, Some Games and Machines Playing them, RAND corporation : Lien
  • Brillouin, 1953, Naissance de la théorie de l’information : Lien
  • Shannon, 1953, Computers and Automata, Proceedings of the IRE, 41 (10) : Lien
  • Backus, 1954, The IBM 701 Speedcoding System, Journal of the ACM; 1 (1) : Lien
  • Minsky, 1954, Ph.D. thesis, Neural Nets and the Brain Model Problem
  • Farley, Clark, 1954, Simulation of self-organizing systems by digital computer, Transactions of the IRE Professional Group on Information Theory, 4 (4)
  • McCarthy, Minsky, Rochester, Shannon, 1955, A proposal for the Dartmouth Research Project on Artificial Intelligence. Éditeur Solomonoff : Lien;
    Éditeur McCarthy : Lien
  • Shannon, McCarthy, 1956, Automata Studies, Annals of Mathematics Studies, Vol. 34 : Lien
  • Shannon, 1956, A Universal Turing Machine with Two Internal States, Automata Studies, Annals of Mathematics Studies, Vol. 34, p157
  • Shannon, 1956, The Bandwagon, IRE Transactions : Lien
  • Chomsky, 1956, Three models for the description of language, IRE Transactions on Information Theory (2): 113–124 : Lien
  • Stibitz, 1967, The relay computers at Bell Labs : those were the machines, parts 1 and 2, Computer History Museum : Lien
  • Shannon, Price, 1984, A conversation with Claude Shannon, IEEE Communications Magazine, Lien, Enregistrement audio et transcription de l’interview de 1982 : Lien
  • Sloane, Wyner, 1993, Claude Elwood Shannon Collected Papers : Lien
  • Perrin, 1993, Les Débuts de la Théorie des Automates : Lien
  • McCarthy, 1996, LISP prehistory – Summer 1956 through Summer 1958 : Lien
  • Sloane, Biography of Claude Elwood Shannon : Lien
  • Sloane, Bibliography of Claude Elwood Shannon : Lien
  • Copeland, 2000, What is Artificial Intelligence ? : Lien
  • Irvine, 2001, Early digital computers at Bell Telephone Laboratories, IEEE Annals of the History of Computing : Lien, Lien
  • Gleick, 2015, L’information; une histoire, une théorie, un déluge : Lien
  • Rochain, 2016, De la mécanographie à l’informatique: 50 ans d’évolution : Lien
  • Horgan, 2016, Claude Shannon: Tinkerer, Prankster, and Father of Information Theory : Lien

F. Evénements, institutions, sociétés savantes et entreprises

  • J. Lyons and Co. (1894) : Lien
  • Elliott Brothers (1804) : Lien
  • IBM (1911-) : Lien
  • Fondation Rockefeller (1913-) : Lien
  • Laboratoires Bell (1925-) : Lien
  • Remington Rand (1927-1955) : Lien
  • Institute for advanced studies (1930-) : Lien
  • Entreprise Bull (1930-) : Lien
  • Conférence Macy (1942-1953) : Lien
  • Zuse KG (1945-1971) : Lien
  • Research Laboratory of Electronics, MIT (1946-) : Lien
  • Eckert–Mauchly Computer Corporation (EMCC) (1946-1950), : Lien
  • Engineering Research Associates (ERA) (1946-1952), mémoire à tambour : Lien
  • RAND Corporation (1948-), recherche militaire, conseil stratégique : Lien
  • Société d’Electronique et d’Automatisme (1948-1966) : Lien
  • Ratio Club (1949-1958) : Lien
  • École de Palo Alto (1952-1956) : Lien
  • RNA Tie Club (1954) : Lien, Vidéo 3:04
  • Information Theory Society (1955-) : Lien
  • Conférence de Dartmouth (1956) : Lien
  • Prix Claude Shannon (1972-) : Lien
  • AI@50, le cinquantenaire (2006) : Lien

G. Le centenaire de la naissance de Shannon

  • Bell labs, Claude E. Shannon, A goliath among giants, Lien
  • ITSOC, Shannon Centenary, IEEE, Information Theory Society : Lien
  • CNRS, Claude Shannon : le monde en binaire : Lien
  • CIRM, Hommage à Claude Shannon, Lien

Révisé en 2018, 2019

Publicités

4 commentaires

Répondre

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion /  Changer )

Photo Google

Vous commentez à l'aide de votre compte Google. Déconnexion /  Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s