La théorie de l’information de Claude Elwood Shannon

En premier lieu, il convient de noter que, alors que certains vertébrés peu évolués ont atteint des tailles supérieures à leurs descendants vivants hautement organisés, de la même façon, la diminution de la taille des machines a souvent accompagné leur développement et leur progrès.

Darwin amongst the machines, Samuel Butler, The Press, 13 June 1863, Lien

Des innovations remarquables dans le domaine des télécommunications et télédiffusions tout autant que des mathématiques et de la cryptologie voient le jour pendant la furieuse période qui va de 1936 à 1956. Lors de la deuxième guerre mondiale, les bombes cryptologique ont permis le déchiffrement des messages codés échangés sur les fronts européens et pacifiques. Des informations stratégiques furent échangées par radiotélégraphie et radiotéléphonie à l’aide de téléscripteurs et de machines particulières. Des radars rendaient possible la télédétection de navires et d’avions en mouvement alors que des systèmes de radionavigation rendaient plus précis les mouvements aériens. Des calculateurs d’un nouveau type contribuèrent à la réussite de plusieurs projets militaires. La paix revenue, des applications civiles voient le jour.

Mais le communisme propose un autre système et dès 1946, Est et Ouest s’affrontent de nouveau. Des accords diplomatiques et économiques sont trouvés, des blocs se créent. Ainsi, le traité UKUSA réunit dès 1946 les USA, la Grande-Bretagne et d’autres pays du Commonwealth sur des questions diplomatiques et militaires. Le blocus des secteurs occidentaux de Berlin est contourné en 1948 à l’aide d’un pont aérien organisé conjointement par les américains et les britanniques. La reconstrution est favorisée. Le Comecon est créé à l’Est en réponse au plan Marshall de 1948. De délicats points d’équilibre sont trouvés, entre guerre impossible et paix improbable, ressources limitées et ambitions non négligeables.

L’article “A Mathematical Theory of Communication” de Shannon publié en 1948 ne laisse rien paraitre de ce contexte de guerre froide. Il propose de modéliser certains des concepts clés de la transmission électrique de l’information. La théorie s’avère remarquablement protéiforme et va contribuer à la création de disciplines qui restent à être inventées telles que l’informatique, l’intelligence artificielle, les sciences cognitives ou bien la biologie moléculaire. D’autres aspects de la théorie concernent les télécommunications et télédiffusions, la cryptologie, l’automatique, la linguistique.

L’article est pourtant simplement relatif aux techniques de transmission des signaux, que ceux-ci soient numériques ou analogiques, discrets ou continus. Il s’agit d’optimiser des méthodes de stockage et d’échange de l’information, de coder et comprimer des messages, de minimiser la durée des transmissions, l’énergie utilisée, bref de transmettre, calculer et mémoriser l’information. Les aspects logiques et statistiques de ces actions sont mis en équation et l’article de mathématique physique publié en livre rencontre un énorme et étonnant succès populaire.

Plusieurs autres travaux de Shannon sont ici évoqués. L’ingénieur avait préalablement déposé en 1946 un brevet sur la PCM, la modulation d’impulsion codée – la numérisation des signaux tels que la voix. Cette technique distincte de la FM rend possible la transmission sans bruit dans des canaux de capacité limitée. Le mathématicien contribue en 1948 à l’écriture d’un des chapitres du livre de Norbert Wiener “Cybernetics Or Control and Communication in the Animal and the Machine”. Il publie ultérieurement sur la théorie des jeux, la théorie des automates, les prémisses de l’intelligence artificielle.

Ce billet propose en commémoration du centenaire de la naissance de Shannon un rappel du contexte des technologies radio avant guerre, une courte biographie, une traduction de l’introduction de l’article de mathématique physique, une évocation de la conférence de Dartmouth, considérée comme fondatrice de l’intelligence artificielle. Quelques calculateurs construits avant 1957 sont listés. Cette date correspond grossièrement à l’apparition des circuits logiques à transistor dans des machines d’une nouvelle génération.

Plan

L’enfance et l’adolescence du père de la théorie de l’information ne seront pas ici évoqués. Un récit de cette période se trouve dans les versions francophones et anglophones du livre de James Gleick « L’information : l’histoire, la théorie, le déluge » – « The Information: A History, a Theory, a Flood« . Le contexte des transmissions civiles et militaires bien connu des historiens est ici rappelé en guise d’introduction. Un lecteur curieux pourrait se poser la question suivante. Comment se fait-il que la théorie mathématique de la communication – titre de l’article de Shannon – est maintenant bien connue sous le nom de théorie de l’information ? Il s’avère nécessaire pour tenter de répondre à cette question d’évoquer les technologies de la communication dans plusieurs pays entre 1918 et 1939.

0. Télécommunication et télédiffusion vers 1936

Dès les années 1860, la télégraphie avait vu son réseau s’étendre le long des voies de chemin de fer pour lesquelles elle constituait un élément de sécurité. Les horloges des gares devaient être synchronisées et elles pouvaient l’être plus facilement à l’aide d’un message télégraphique qu’en transportant un chronographe dans le train. Plusieurs secteurs industriels s’en trouvèrent radicalement changés. Finance et banques, police et armées, journalisme et agences de presse ont rapidement adopté ces nouvelles techniques initiées par les transports maritimes et terrestres, les postes et télégraphes.

Ce mouvement fut mondial et très rapide. La convention radiotélégraphique de Berlin signée en 1906 aboutit à l’adoption d’un certain nombre de règlements internationaux relatifs aux signaux et à leur taxation, incluant le fameux « …—… » SOS des navires en détresse. Dès 1912, dans de nombreux pays, des stations de radiogoniométrie permettent le positionnement des navires, ballons dirigeables et avions qui le demandent.

Durant la première guerre, les fils de téléphone sont fréquemment coupés entre les tranchées. Les postes récepteurs à pyrite et à galène deviennent répandus sur le front aussi bien en radiotélégraphie (TSF) qu’en radiotéléphonie. Les travaux de Gustave Ferrié augmentent la portée des dispositifs. La triode, dispositif amplificateur du signal de Lee De Forest, encore nommée tube électronique à vide ou lampe devient un élément clef des récepteurs. Les casques audios intègrent des haut-parleurs.

Postérieurement à 1918, des agences gouvernementales spécialisées dans l’intelligence des communications naissent, se développent ou disparaissent en fonction des circonstances politiques, parmi lesquelles le Government Code and Cypher School (1919) et le Far East Combined Bureau (1935) pour le Royaume-Uni, le Signal Corps, le Signal Intelligence Service et la Black Chamber (1919-1929) aux USA. En Allemagne, l’Abteilung Abwehr est créé en 1921 et subordonné au ministère des armées. En Pologne, le Biuro Szyfrów, bureau du chiffre militaire polonais créé en 1919 joue un rôle particulier des années 30 à 40.

Côté civil, le cinéma parlant fait son apparition. Les télécommunications et télédiffusions poursuivent leur développement dans un contexte d’âpre concurrence, particulièrement entre la presse bien installée et les stations de radios émergentes. Les sociétés spécialisées dans la fabrication d’ampoules électriques produisent des lampes. Alors que les transmissions dépendaient précédemment du papier et des postes, la télégraphie avec ou sans fil de même que la radio ont libéré l’information de la nécessité d’un support physique de nature matérielle.

Les progrès technologiques concernent encore dans les années 20 la téléphonie avec et sans fil. De nombreux dispositifs électriques fondamentaux apparaissent et deviennent produits en série parmi lesquels, les relais électromécaniques dans le domaine de la téléphonie, les triodes dans celui des radios. Des câbles télégraphiques sous-marins sont posés en nombre. La radiotéléphonie se développe. En France, l’horloge parlante voit le jour le 14 février 1933. Les temps modernes s’annoncent vocalement et à distance, par fil et sans fil.

  • Journal télégraphique, janvier 1933 : Lien

0.1 Télégraphie, radiotélégraphie, phototélégraphie

Les radiocommunications réclament des fréquences. Plusieurs décisions importantes émergent des conférences mondiales de l’International Telecommunication Union / Union Internationale des Télécommunications. Un nouveau partage des bandes radios est voté lors de la World Radiocommunication Conference de 1927 et mis en application en 1929. Il définit les fréquences des services fixes (radiodiffusion et radiophares) et mobiles (marine et aéronautique). Les amateurs de l’International Amateur Radio Union ne sont pas oubliés. Ils disposent de leurs fréquences.

Délégués à la Conférence mondiale des radiocommunications, ITU, Washington, 1927 : Lien

En 1933, le Journal Télégraphique, numéro de Janvier de l’ITU, s’inquiète de la crise économique qui perdure et diffuse auprès de la profession des nouvelles de télégraphie, phototélégraphie, radiotélégraphie, radiodiffusion, télévision. D’intenses activités de recherche sont menées dans le domaine des télécommunications, de même que dans celui de la télévision alors parfois appelée « radiovision », « telephot ».

Au niveau des terminaux de télégraphie, le téléscripteur joue un rôle très particulier à cette époque. Cette machine électromécanique polyvalente est susceptible d’être utilisée pour diffuser de machine à machine des informations à la fois par fil télégraphique, téléphonique ou bien par radio. Cependant l’usage en Europe est règlementé par les systèmes nationaux des postes. Alors qu’aux Etats-Unis, la législation s’avère plus souple. De plus, certains modèles de téléscripteurs permettent le chiffrement des données transmises.

Aux États-Unis, la Morkrum-Kleinschmidt Company fondée en 1925 change de nom en 1930 pour devenir Teletype Corporation. Sous l’influence de cette dernière compagnie basée à Chicago le « teleprinter » devient fréquemment nommé aux USA « teletype« , abrégé tty, radiotélétype rtty. Teletype Coroporation est racheté la même année par American Telephone and Telegraph (AT&T) mais conserve une certaine indépendance. Le Teletype Model 15 sort en 1930 et restera fabriqué jusqu’en 1963. Suite au rachat de la société new-yorkaise Electromatic Typewriters, IBM sort en 1935 son téléscripteur IBM Model 01. Du côté des places financières américaines, Teleregister améliore son Stock Ticker pour diffuser les cours des marchés.

Teletype Model 19 (1940) restauré en 2018, en dialogue avec le Model 15, Vidéo 17:35 : Lien

En Europe, le fabricant britannique Creed & Company se distingue. La société produit en 1924 son premier téléscripteur le Model 1P, suivi peu de temps après par le 2P. Creed acquiert en 1925 les brevets du code de Donald Murray, une version améliorée du code Baudot. Le téléscripteur à bande Model 3 sort en 1927 et devient produit en série. Les messages reçus sont imprimés sur bande de papier. Les postes britanniques proposent un service innovant.

L’administration britannique inaugure en aout 1933 le service public Telex, de la contraction des mots Teleprinter exchange. Ce service permet à l’abonné de passer par simple manœuvre d’un commutateur d’une transmission téléphonique à une transmission télégraphique. Le remarquable Model 7 de Creed & Company se trouve derrière ce service. Des équipements Creed sont achetés par les PTT français vers 1937 pour développer les échanges Telex, mais aucun service officiel n’est créé à cette époque.

En Allemagne, l’entreprise Siemens & Halske joue un rôle important au niveau national et international dans le câblage pour les réseaux de télécommunication, dans la modernisation du système téléphonique et dans plusieurs autres domaines industriels en relation avec l’équipement électrique. La crise de 1929 entraîne d’importantes pertes de revenus et des licenciements. La modernisation des armées à partir de 1933 conduit à une augmentation des commandes. Siemens devient en 1939 la plus grande entreprise d’électricité au monde avec 187 000 employés.

De nouvelles professions voient le jour dans les années 20 et 30. Les radio-téléscripteurs encodent et décodent les messages diffusés sur ruban perforé en code Baudot sur 5 bits, un des premiers code discret après le morse, puis en International Telegraph Alphabet No. 2 à partir de 1925 encore appelé Baudot-Murray. Les messages sont imprimés et lus sur une bande de papier perforée munie de 5 possibilités simultanées de perforation, ce qui offre 25 soit 32 possibilités par unité de rythme. Ce nombre de possibilité couvre l’alphabet latin majuscule de même que certains signes de ponctuation. Une sixième rangée nécessaire pour l’entraînement du ruban contient des perforations de plus petit diamètre. Des débits de 50 bauds sont ainsi atteints sur les courtes distances, 25 bauds sur les distances de plusieurs milliers de kilomètres. 1 baud peut encoder 1, 2, 3 ou 4 bits par seconde selon la valence de la ligne télégraphique si bien que les débits sur courte distance peuvent atteindre 200 bits par seconde.

Les opérateurs télégraphiques innovent aux États-Unis. American Telephone and Telegraph Company (AT&T) propose en 1931 un téléscripteur et un service lié, le TWX (Teletype Writer Exchange). Le système utilise des numéros spéciaux du réseau téléphonique commuté public pour transmettre du texte de téléscripteur à téléscripteur, de machine à machine. Le nombre d’entreprises abonnées dépasse les 10 000 en 1934.

En Allemagne, la Reichspost inaugure en octobre 1933 entre Berlin et Hambourg un réseau spécifiquement dédié à la transmission de messages par téléscripteur. Siemens & Halske propose en 1935 son téléscripteur (fernschreiber) TW35 suivi en 1939 du TW39. Des échanges internationaux débutent en 1934 avec la Hollande et la Suisse. Le réseau compte environ 10 000 abonnés en 1940.

La phototélégraphie n’est pas en reste. Le système britannique de transmission d’image par câble Bartlane est mis en service en 1920. Harry Bartholomew et Maynard McFarlane se servent du câble télégraphique transatlantique pour transmettre de part et d’autre des images numérisées sous la forme d’un message encodé en Baudot-Murray. 5 niveaux de détail d’une même image en noir et blanc sont ainsi transmis.

En France les travaux d’Édouard Belin retiennent l’attention des éditeurs de presse et des lecteurs. L’inventeur français met au point le bélinographe, appareil portable ancêtre du fax. Une transmission transatlantique d’image est réalisée par radiotélégraphie en aout 1921 entre New York et La Malmaison. Des bulletins météorologiques sont transmis en 1930. Un dispositif portable équipe les voitures de journalistes. Les images sont transmises aux rédactions par radiotélégraphie ou par téléphonie. Cinq quotidiens nationaux sont équipés en 1939 de dispositifs d’émission et de réception.

  • Teleprinter and Telex, London, 1932, vidéo 1:46 : Lien
  • Behind the ticker tape, 1957, vidéo 10:39 : Lien
  • Qu’est-ce que le bélinographe, INA 1951, vidéo 1:53 : Lien

0.2 Téléphonie, radiotéléphonie, radioguidage

Les réseaux téléphoniques se développent. Des centraux téléphoniques sont mis en service et les correspondants peuvent se joindre directement à l’aide d’un téléphone à cadran rotatif. Des kiosques téléphoniques sont déployés dans les postes et dans les rues. La fameuse cabine rouge K1 devient visible à Londres dès 1921. En France, le modèle de téléphone à cadran M24 est lancé en 1924. Le réseau téléphonique de Paris devient entièrement automatisé en 1939.

La radiotéléphonie concerne en premier lieu les embarcations et aéronefs et dès 1927 les navires de pêche sont équipés. AT&T met en place cette même année le premier service radiotéléphonique commercial transatlantique. Le service Pacifique ouvre en 1931, un premier appel fait le tour du monde en 1935.

Radiocommunication aéronautique, Bell Telephone Magazine 1924 : Lien

Les radiophares et la radiogoniométrie permettent aux navires, aux avions et aux dirigeables de connaitre leur position de manière plus précise. Un premier système de radioguidage est mis au point par la société berlinoise C. Lorenz AG spécialisée dans la télégraphie, la fabrication d’équipements de radiodiffusion, puis après les années 30 de télévision, de radioguidage et de radars pour l’aviation civile et militaire. La société devient filiale à partir de 1930 de la société américaine International Telephone and Telecommunication (ITT) active également en France. Ernst Ludwig Kramer développe en 1932 et 1933 son système de radioguidage. Deux balises radios émettent en ondes ultra-courtes des signaux qui assistent le pilote en longitude lors de l’approche de la piste. Le faisceau Lorenz équipe l’aéroport de Berlin à partir de 1934, puis une vingtaine d’aéroports civils à travers le monde.

Des radars sont progressivement mis au point et diversement déployés à partir de 1937 environ en Allemagne, aux États-Unis, en France, en Grande Bretagne, aux Pays-Bas et en Union Soviétique. Cette technologie va s’avérer importante en plusieurs moments de la deuxième guerre mondiale.

Les travaux du britannique Alec Reeves vont montrer une importance particulière dans le domaine de la radiotéléphonie. Reeves travaille depuis 1927 à Paris pour la société française Le Matériel Téléphonique, filiale depuis 1925 de la multinationale américaine International Telephone and Telegraph (ITT). L’objet principal de son invention est de fournir des systèmes électriques de transmission du signal sans bruit de fond. Les applications envisagés concernent les téléscripteurs, les systèmes téléphoniques, la transmission de la voix sans fil.

Des brevets sur la Modulation d’Impulsion Codée / Pulse Code Modulation (PCM) intitulés Systèmes de signalisation électrique / Electric Signaling System, sont déposés dans différents pays sous le nom de plusieurs sociétés [Brevet européen EPO : Lien]. Reeves dépose en octobre 1938 pour Le Matériel Téléphonique un brevet français. Le brevet britannique d’octobre 1939 l’est de nouveau pour Le Matériel Téléphonique. Le brevet belge de novembre 1939 est déposé pour la Bell Telephone d’Anvers. Le brevet américain pour la International Standard Electric (ITT) est déposé en 1939 et délivré en 1942 [US 2272070 : Lien]. Le brevet Suisse de décembre 1947 mentionne la Standard Telephon und Radio AG. Le brevet néerlandais de décembre 1957 concerne de nouveau la Bell Telephone d’Anvers.

La PCM consiste à numériser un signal analogique quelconque. Cela présente un immense intérêt pour la téléphonie, la radio, la télévision, la musique enregistrée, le chiffrement de la voix. Avec un signal analogique, chaque fois que le signal est amplifié, le bruit contenu dans le signal est également amplifié si bien qu’un bruit additionnel est créé. Avec la modulation d’impulsion codée, il devient possible de régénérer l’impulsion de départ sans amplifier le bruit de fond.

Le VODER (Voice Operating DEmonstratoR) ou VOCODER est présenté par les AT&T Bell Telephone Laboratories à l’exposition universelle de New York de 1939. L’engin susceptible de synthétiser la parole humaine fait forte impression. Homer Dudley, coordonnateur du projet aux Bell Labs publie en Octobre 1940 son article « The Carrier Nature of Speech » dans le Bell System Technical Journal [Lien]. Il va se montrer également actif ultérieurement comme nous allons le voir sur le radiotéléphone chiffré SIGSALY.

« She saw me » Vidéo 0:43, New-York, exposition universelle de 1939, Bell Laboratories : Lien

0.3 La radiodiffusion

Les radiodiffusions suscitent l’engouement du grand public avec l’introduction dans les foyers du poste de radio à tube. Les récepteurs ont pour marque en Europe Radiola, Philips, Marconi, Telefunken, aux USA General Electric (GE), Zenith, Philco, RCA, Westinghouse, etc. Des politiques industrielles menées par des regroupements d’entreprises de même que quelques ingénieurs exceptionnels, comme Edwin Armstrong, Lucien Lévy, Walter Schottky et de nombreux autres se retrouvent derrière ces applications commerciales.

Edwin Armstrong, un des inventeurs du récepteur superhétérodyne (1917), inventeur également de la modulation de fréquence (FM) (1933). Armstrong pose à Palm Beach, Floride, en 1923 en compagnie de son épouse et de son tout nouveau poste portatif

Alors que le son enregistré l’était précédemment sur disque vinyle ou bien de manière optique sur le canal son des films cinématographiques, Fritz Pfleumer développe en 1928 et brevète en 1929 un appareil qui enregistre la voix sur une bande de papier enduite de poudre de fer.

La firme Allgemeine Elektricitäts-Gesellschaft (AEG) spécialisée dans le génie électrique lourd et dans la fabrication d’ampoules électriques se diversifie dans le secteur naissant de la télévision. Elle rachète également le brevet en 1930. Eduard Schüller travaille ensuite avec Pfleumer pour perfectionner les têtes d’effacement, d’enregistrement et de lecture, les mécanismes de défilement de la bande et les amplificateurs. Parallèlement, des travaux de mise au point d’un support de bande amélioré sont menés aux usines de l’IG Farben, aujourd’hui BASF. L’ensemble est commercialisé sous le nom de Magnetophon.

Eduard Schüller à gauche avec un prototype, vers 1935 : Lien

Premier modèle industriel, le modèle Magnetophon K1 est présenté à l’exposition radiophonique de Berlin en 1935 conjointement par AEG et IG Farben. Cette dernière société se montre active dans le domaine de la chimie et sort en 1936 le premier pneu en caoutchouc synthétique. Le Magnetophon K2 sort également en 1936, suivi du modèle K3, premier magnétophone mobile d’un poids de 50 kilos. Le magnétophone K4 est mis au point en 1938 et rapidement utilisé par les studios de radio allemands. La bande offre de nets avantages en termes d’enregistrement, de manipulation et de stockage ainsi qu’un temps de lecture de 20 minutes. La bande magnétique devenue progressivement haute-fidélité et stéréo va trouver plus tard d’autres usages dans le domaine du calcul.

0.4 La télévision

Après plusieurs années de mise au point, la télévision est lancée publiquement dans plusieurs pays, quasiment simultanément en 1935 et 1936. Elle résulte d’une compétition et d’accords financiers pour maitriser un ensemble de technologies allant de la caméra en passant par la construction du signal et sa transmission et se terminant par le poste récepteur. Des expériences sont menées par des pionniers au Royaume-Uni, aux États-Unis, au Japon, en Allemagne et en France. Alors que les caméras mécaniques avec disque de Nipkow montraient de sérieuses limites, les premières caméras électroniques sont mises au point, les premiers tubes cathodiques sont produits en série.

Tube Iconoscope et caméra électronique expérimentale RCA fabriquée en 1934 : Lien

Aux États-Unis, l’Image dissector -composante de base d’une caméra électronique – est breveté en 1927 par le jeune Philo Farnsworth. Vladimir Zworykin met au point de son côté un système concurrent l’Iconoscope qu’il brevète en 1931. Ce système équipe les caméras expérimentales de Radio Corporation of America (RCA) à partir de 1934. RCA fait une démonstration filmée de sa première émission depuis les sudios NBC en juillet 1936. Du direct fabriqué en studio est diffusé en 441 lignes, de même que des actualités filmées et montées par Pathé News. L’antenne d’émission est localisée à New-York au sommet de l’Empire State Building.

En Allemagne, de premières expérimentations sont menées par Manfred von Ardenne en 1930 et 1931. Telefunken commercialise les premiers récepteurs à tube cathodique en 1934 et de premières émissions sont captées à l’aide de caméra mécaniques. La première télédiffusion de la Deutscher Fernseh-Rundfunk se déroule en mars 1935. La chaîne de télévision Paul Nipkow diffuse depuis la Berliner Funkturm. Walter Bruch est alors embauché en 1935 comme technicien au département de recherche de Telefunken pour développer la caméra électronique Superikonoskop. Susceptible d’être déplacée, elle sert pour la diffusion en direct des jeux olympiques de 1936. Emil Mechau se montre actif sur le développement de la première caméra électronique munie d’un téléobjectif. L’ensemble mesure 2,20 mètres de long et fournit des images en 180 lignes.

Au Royaume-Uni, Hans Gerhard Lubszynski, Sydney Rodda and McGee de la société Electric & Musical Industries (EMI) mettent au point et brevettent en 1934 le Super-Emitron, une technologie qui améliore considérablement la sensibilité des caméras électroniques et rend possible le fonctionnement en lumière naturelle extérieure. Une caméra en 405 lignes de définition est mise au point en 1935. EMI et Marconi se rapprochent en 1936 pour diffuser le standard Marconi-EMI. La BBC commence à émettre en novembre 1936 en 405 lignes depuis l’Alexandra Palace. Elle diffuse en 1937 le couronnement du roi George VI de même que des évènements sportifs, des divertissements, des émissions culinaires et rencontre également un succès populaire.

Radio-PTT Vision commence à émettre depuis la tour Eiffel en décembre 1935 en 180 lignes de définition avec caméra mécanique. Le récepteur Emyvisor de René Barthélemy également inventeur d’une caméra mécanique est commercialisé en pièces détachées ou tout assemblé. Marc Chauvierre présente en 1936 à la Sorbonne son Visiodyne, récepteur à tube cathodique pour grand public et recherche. La Compagnie Française pour l’exploitation des procédés Thomson Houston (CFT) active dans la fabrication d’une variété de systèmes électriques allant du transport, à l’éclairage, aux piles et à l’électroménager est nationalisée en 1936. Lors de l’exposition universelle de Paris en 1937, une caméra en 455 lignes fabriquées par la CFT est retenue. Elle diffuse les impressions des visiteurs depuis les studios du Pavillon de la radio et de la télévision.

  • Histoire de la télévision en Allemagne, vers 1937, vidéo 13:38 : Lien
  • NBC / RCA, 7 juillet 1936, vidéo 22:15 : Lien
  • BBC, 2 novembre 1936, vidéo 1:42 : Lien
  • BBC celebrates 75 years of TV, vidéo 3:40 : Lien
  • Radio-PTT Vision, vers 1935, vidéo 3:11 : Lien
  • Histoire de la télévision française, 1927-1940 : Lien

0.5 Chiffre et cryptologie

La cryptologie est une sorte de jeu sérieux dans lequel deux correspondants échangent des signaux de manière possiblement publique, comme avec la radio, la télégraphie, les radio-téléscripteurs ou les radiotéléphones par exemple. Des techniques sont employées pour que la sémantique reste privée.

Une clef de chiffrement permet d’appliquer au message de départ un travail, produit d’un algorithme qui va le transformer en message codé. La même clef sert dans un travail inverse au déchiffrement par le récepteur. Le but du cryptographe est de mettre au point des machines qui implémentent physiquement un algorithme qui ne peut être cassé. Celui du cryptanalyste est de trouver la clef partagée par l’émetteur et le récepteur dont la valeur est possiblement changée fréquemment.

La mécanisation et l’électro-mécanisation du chiffrement permettent à cette époque d’augmenter considérablement le nombre, la rapidité et la sécurité des messages échangés par radio et par câble. Les cryptographes à rotor connaissent un grand succès commercial auprès des entreprises et des armées de différents pays.

Ainsi, en Allemagne la Handelmaschine développée en 1923 par Scherbius & Ritter et construit par Gewerkschaft Securitas – la machine à manipuler – est le nom commercial d’un téléscripteur dédié au chiffrement des messages. Le courant électrique qui transite par les rotors peut être inversé, ce qui a pour effet de transformer l’algorithme de chiffrement en algorithme de déchiffrement.

En Suède, le cryptographe Boris Hagelin construit sa C-36, machine portable purement mécanique au début des années 30. Les britanniques disposent de leur machine Typex déclinée en version de bureau et de terrain. La Suisse utilise un modèle commercial d’Enigma préalablement à la construction de NEMA (NEue MAschine). Les polonais disposent de leur Lacida.

Aux USA, William Friedman du SIS construit son téléscripteur chiffré SIGABA. Des techniques analogiques de mélange des fréquences vocales sont développées depuis les années 1920 pour chiffrer la voix. Implémentés de longue date au 463 West Street, Manhattan, les AT&T Bell Laboratories produisent le A-3 Speech Scrambler et jouent un rôle important dans le développement des techniques alors en pointe. Mais revenons après ces quelques digressions aux travaux du jeune étudiant Shannon en 1936.

  • Crypto Museum Enigma timeline : Lien
  • Bell Labs A-3 Speech scrambler and German codebreakers, Christos Triantafyllopoulos, 2012 : Lien

1. Claude Elwood Shannon (1916-2001)

Après un double “Bachelor of Science” (licence) en mathématiques et en génie électrique passé à l’Université du Michigan, Detroit, Shannon entreprend des études d’ingénieur au MIT de Boston. Il suit en 1936 les cours de Norbert Wiener sur la théorie du signal, l’analyse harmonique et les transformations de Fourier. Un emploi à temps partiel en tant que chercheur assistant au département de génie électrique du MIT lui permet de financer ses études.

Shannon manipule l’analyseur différentiel de Vannevar Bush. En fonction de 1927 à 1944, ce calculateur analogique général est le plus avancé de son époque. Il peut résoudre de manière mécanique et graphique mais avec une précision limitée des équations différentielles du sixième degré.

Bush et son analyseur différentiel : Lien

1.1 Master et doctorat

Shannon effectue en 1938 un stage d’été aux Bell Telephone Labs de New-York et profite de son expérience précédente sur l’analyseur différentiel de Bush. Son mémoire de master soutenu au MIT en 1938 sous la direction du professeur Hitchcock A Symbolic Analysis of Relay and Switching Circuits montre que des réseaux de relais et de commutateurs permettent de résoudre des problèmes d’algèbre booléenne éventuellement complexes.

Des circuits électriques composés de relais peuvent être analysés ou bien au contraire synthétisés. Shannon prouve qu’il existe plus d’une analogie complète entre certains circuits électroniques et plusieurs opérations élémentaires de l’algèbre. Des séries de calculs électriques analogues au Calcul des Propositions peuvent être entrepris à l’aide de circuits électriques particuliers qui peuvent être optimisés. Parmi les références bibliographiques Boole, Whitehead A treatise on Universal Algebra with Applications, Couturat The Algebra of Logic.

Au-delà des opérations algébriques élémentaires, le mémoire original propose à titre d’application et dans l’esprit d’un brevet : un compteur de bulletins de vote, un sommateur en base 2, le calcul des nombres premiers parmi les entiers de 1 à 100 000. Le rapport remporte un large succès chez les électroniciens américains. Il est publié en 1938 dans le Transactions of the American Institute of Electrical Engineers. Une théorie des circuits de commutation « switching circuit theory » devient alors utilisée pour construire une variété de circuits dans lesquels la logique entre en jeu.

In fact, any operation that can be completely described to the required accuracy (if numerical) in a finite number of steps using the words « if », « or », « and », etc, can be done automatically with relays

En fait, toute opération qui peut être décrite complètement avec la précision requise (pourvu qu’elle soit numérique) en un nombre fini d’étapes en utilisant les mots « si », « ou », « et », etc, peut être faite automatiquement avec des relais

Shannon, A Symbolic Analysis of Relay and Switching Circuits, 1937

Shannon entreprend une thèse de mathématique sous la direction de Barbara Burks, psychologue reconnue pour ses recherches sur le débat inné-acquis, notamment dans le domaine de la transmission de l’intelligence chez l’homme. Il passe l’été 1939 à Cold Spring Harbor, Long Island et s’intéresse à la génétique des populations. L’idée est de modéliser la transmission mono ou multigénique d’un caractère génétique dans une population. Plusieurs fréquences géniques de départ sont étudiées.

Un système de notation susceptible de trouver des applications en génétique et dynamique des populations est proposé. Les phénomènes biologiques tels que la reproduction ou les mutations qui se produisent lors du cycle de vie des populations eucaryotes sont pris en considération et mis en notation algébrique. Son doctorat de mathématique appliquée obtenu en 1940 s’intitule “An Algebra for Theoretical Genetics”. Il n’est pas publié. Le jeune homme pressé obtient cependant la même année un master de sciences en génie électrique.

1940, Shannon alors âgé de 24 ans est appelé à séjourner à l’Institute for Advanced Study (IAS) à Princeton. Il croise de loin en ces lieux des scientifiques de renom venus d’Europe tels que les mathématiciens et physiciens Hermann Weyl, John von Neumann, Albert Einstein ou le logicien Kurt Gödel. Il suit les cours de Von Neumann, professeur de mathématique à Princeton ainsi qu’à l’IAS et actif dans une variété de domaines incluant la logique, la mécanique quantique et l’économie.

De décembre 1940 à août 1941, Warren Weaver embauche Shannon avec le titre de consultant aux Bell labs de New-York fréquentés précédemment en tant que stagiaire. Important changement personnel, Norma Levor et Shannon se marient en 1940. Ce premier mariage ne sera pas un succès. Le divorce est prononcé un an plus tard. Norma se remarie à Ben Barzman, scénariste canadien, et poursuit une carrière d’écrivain et d’actrice. Elle deviendra mère d’une famille nombreuse.

Toujours inspiré par ses travaux précédents sur l’analyseur différentiel, le mathématicien publie en avril 1941 dans Studies in Applied Mathematics son article « Mathematical theory of the differential analyzer ». Un modèle de calculateur analogique général est proposé. Il introduit la notion de GPAC (General Purpose Analog Computer). Un tel dispositif se compose de plusieurs opérateurs – sommateur, intégrateur – interconnectés dans le but de calculer des fonctions. Ce papier se montre important pour l’informatique théorique. L’équivalence fonctionnelle entre le GPAC envisagé par Shannon en 1941 et une machine de Turing est une question actuellement en cours de résolution. Un calculateur analogique électronique peut il être Turing complet ?

1.2 Deuxième guerre mondiale

Les États-Unis entrent en guerre le 8 décembre 1941 postérieurement à l’attaque de Pearl Harbor. De 1941 à 1947, Bush occupe l’importante fonction de directeur de l’Office of Scientific Research and Development. Il coordonne les activités de la défense, de l’industrie et de l’université pour l’effort de guerre et entreprend la construction au MIT d’une version modernisée de son analyseur différentiel. Le Rockefeller differential analyzer à usage militaire reste en activité de 1942 à 1954. Il pèse 100 tonnes, combine des pièces mécaniques, des tubes à vide et des relais et constitue un calculateur dans lequel pièces mécaniques et électroniques voisinent.

Shannon travaille de son côté aux Bell labs à l’automatisation des commandes de tir d’un canon antiaérien en compagnie de Richard B. Blackman et de Hendrik Bode. Le problème est celui d’automatiser des dispositifs électromécaniques de conduite de tir. Le calculateur établit la vitesse et la direction de la cible. Il extrapole le positionnement futur ainsi que les propriétés dynamiques des projectiles pour transformer cette information en élévation et azimut des canons. Des équations intégrales et équations aux dérivées partielles sont résolues par la méthode de Wiener-Hopf, une technique de mathématique appliquée développée à cette époque.

Un document resté longtemps classé « The theory and design of linear differential equation machines » est publié en 1942. Une application des graphes de flux de signal – une sorte de graphe dirigé – consiste en la mise au point de circuits qui rendent possible et instantané en électronique analogique la résolution d’équations différentielles linéaires. Un rapport classé est finalement publié en 1948 dans Research and Development Board. « Data Smoothing and Prediction in Fire-Control Systems » et signé de Blackman, Bode et Shannon.

Le jeune ingénieur change ensuite de projet et se penche sur la voix chiffrée. Il devient actif en 1942-1943 sur le téléphone sans fil SIGSALY pour en mettre au point certaines composantes techniques et principes de chiffrement. Il travaille avec Dudley, l’auteur du VOCODER et a l’occasion de prendre le thé à la cafétéria avec Alan Turing, consultant britannique sur les questions du chiffrement de la parole, de nouveau en visite aux États-Unis de Novembre 1942 à Mars 1943 pour expertiser la machine.

Précédant Shannon de quelques années, Turing avait également étudié les mathématiques et la cryptologie à Princeton. Il suit en effet de 1936 à 1938 des cours à l’Institute for Advanced Study. Turing a écrit des articles sur l’approche mathématique du chiffrement et travaille à cette époque à Bletchley Park sur le décryptage des radio-messages allemands. Les alliés sont confrontés à plusieurs versions de la machine cryptographique de terrain Enigma mise au point par Chiffriermaschinen AG. Un téléscripteur chiffré lourd SZ40 connu sous le nom de machine de Lorenz est fabriqué à partir de 1940 par C. Lorenz AG. Il est suivi en 1942 du modèle SZ42. Siemens & Halske fabrique de son côté le Geheimshreiber T52.

A partir de juin 1941, les services de renseignement militaire britanniques appellent Ultra pour Ultra-secret les méthodes utilisées pour le renseignement d’origine électromagnétique. Le Colossus Mark 1 devient opérationnel en décembre 1943, après 11 mois de construction par une équipe de trois personnes dirigée par Thomas Flowers. Dix exemplaires en seront construits. La machine est dédiée à la cryptanalyse des messages du G-Schreiber de Siemens & Halske.

Le Colossus Mark 1 est le deuxième calculateur après celui d’Atanasoff fonctionnant à l’aide de tubes à vide, conçu spécifiquement pour la cryptanalyse. Des bombes cryptologiques de différentes séries fonctionnent en 1943 à la fois au Royaume-Uni et aux États-Unis. Les messages interceptés en Europe et sur les mers sont déchiffrés en grand nombre, particulièrement ceux cryptés par certaines des versions d’Enigma.

Shannon évoque dans son interview de 1982 ses discussions avec Turing dans lesquelles la cryptologie n’aurait pas été abordée pour raison de secret militaire. Les sujets portaient – raconte-t-il – sur le fonctionnement du cerveau humain, sur celui des machines et de ce qu’il est autorisé d’en attendre. Les calculateurs peuvent ils imiter la pensée humaine pour faire autre chose que du calcul ? Des machines bio-inspirées vont elles pouvoir mimer l’intelligence humaine ?

L’article du musée virtuel néerlandais cryptomuseum.com révèle une activité de Turing et Shannon non négligeable sur le projet SIGSALY. Les États-Unis réalisent que lors d’une attaque militaire ou de négociations diplomatiques, la voix s’avère critiquement nécessaire. Mais aucun système crypté fiable de la parole n’existe en 1941. Les échanges à l’aide des Speech scramblers peuvent être décodés.

Développé aux États-Unis à partir de 1942, SIGSALY devient fonctionnel en avril 1943. L’appareil de 50 tonnes va rester en activité jusqu’en 1946. Bien que volumineux, coûteux pour son fonctionnement en moyens humains et en énergie, il s’avère remarquablement innovant. La numérisation et le chiffrement d’un signal vocal en modulation d’impulsion codée (PCM) sont introduits. Trois opérations se succèdent : échantillonnage, quantification, codage de la parole.

Shannon met au point sur SIGSALY la modulation d’impulsion codée. Il intervient également comme Turing en tant que cryptanalyste et collabore avec John Robinson Pierce sur les aspects techniques de cryptographie. Un bruit de fond enregistré sur disque vinyl – un signal analogique mémorisé – sert de masque jetable (chiffre de Vernam, one-time pad) pour crypter et décrypter en temps réel le message codé. Des horloges doivent être synchronisées côté émetteur et récepteur pour que le système soit opérationnel. Des disques à usage unique doivent étre transportés et partagés par l’émetteur et le récepteur. La radiocommunication se fait en ondes haute fréquence.

Shannon et Turing disposent d’une bonne compréhension de l’ensemble du fonctionnement. Plusieurs exemplaires de SIGSALY seront successivement déployés à Washington, Londres, Alger, Brisbane, Hawaï, Oakland, puis après la libération à Paris, Guam, et après-guerre à Francfort, Berlin, Tokyo, Manille. Le premier réseau de téléphonie diplomatique hautement sécurisé est ainsi créé, utilisé par Roosevelt, Churchill et le haut commandement militaire allié jusqu’à la fin de la guerre.

SIGSALY, Crypto Museum, Lien

Pendant ce temps à Harvard, von Neumann croisé en tant que professeur par Shannon lors de ses études à l’Institute for Advanced Study (IAS) participe de 1942 à 1946 au projet Manhattan. Il effectue certains calculs sur Harvard Mark I, mis au point en 1944 pour IBM par Howard Aiken.  Dès 1943, Aiken a formé une petite équipe de « codeurs » pour tester puis programmer sa machine. Rapidement s’y adjoint une jeune enseignante de mathématiques recrutée par l’US Navy, Grace Hopper, considérée comme l’une des premières programmeuses, cent ans certes après Ada Lovelace (1815-1852). Cette machine d’Harvard intéresse grandement Princeton et Von Neumann.

Von Neumann se montre actif sur l’ENIAC, une machine de l’Université de Pennsylvanie finalisée en 1945 sous la direction de John William Mauchly et programmée par une équipe entièrement féminine.

1.3 Après guerre

Le 2 Septembre 1945, la paix est signée par les États-Unis à bord de l’USS Missouri. Petit clin d’œil à l’histoire, Shannon publie la veille, le 1er Septembre 1945 un article remarqué des spécialistes, « A Mathematical Theory of Cryptography« . Des algorithmes codent des messages qui doivent être déchiffrés et peuvent être interceptés. L’article reste cependant classé jusqu’en 1957. Dans son article de 1949 « Communication Theory of Secrecy Systems », Shannon prouve mathématiquement que le masque jetable de Vernam correctement implémenté ne peut être cassé. Cette technique de cryptographie mathématiquement impossible à déchiffrer montre cependant de sévères contraintes en matière de clef de chiffrement.

Les efforts fournis se tournent après guerre vers des applications civiles et commerciales. 32 brevets furent déposés sur le projet SIGSALY et maintenus confidentiels pour certains pendant 32 ans. Shannon publie en 1946 en compagnie de Bernard Oliver son brevet américain sur la PCM rendu public en 1957 [US 2801281 : Lien]. Son brevet est précédé par celui de John Robinson Pierce [US 2437707 : Lien]. Les trois auteurs des Bell Labs publient en 1948 « The Philosophy of PCM« .

En 1948 également, Pierce devient membre d’une commission qui nomme « transistor » le tout nouveau composant électronique mis au point par les Bell Labs et destiné à remplacer les relais et tubes électroniques à vide de multiples dispositifs. L’avantage décisif du dispositif réside dans une moinde tension nécessaire à l’usage ainsi qu’un fonctionnement immédiat sans chauffage préalable [US 2524035, 17/06/1948 : Lien]. Le brevet est titré « Three electrode circuit element utilizing semiconductive materials« . John Bardeen, Walter Brattain et William Shockley reçoivent le prix Nobel de physique en 1956.

A noter que cette invention dispose de son équivalent franco-allemand. Le « transistron » est mis au point par deux physiciens allemands Herbert Mataré et Heinrich Welker engagés par la Compagnie de Freins et Signaux Westinghouse en relation avec l’administration des PTT. Un brevet français est déposé le 13 aout 1948 sous le nom « Nouveau système cristallin à plusieurs électrodes réalisant des effets de relais électroniques » [FR 1010427, 13/08/1948 : Lien]. Des transistors au germanium vont devenir fabriqués en série de part et d’autre de l’Atlantique. Le transistron Westrel type N fabriqué en 1952 en France par la CFS mérite par exemple d’être signalé.

Norbert Wiener publie en 1948 également son best-seller « Cybernetics Or Control and Communication in the Animal and the Machine » en collaboration avec Shannon pour le très mathématique chapitre 6. Le livre remporte un vif succès auprès du grand public et sera même présenté à la Maison Blanche. Nous évoquerons ultérieurement quelques concepts de la cybernétique dont le caractère réellement scientifique reste cependant discuté.

shannon

1.4 La théorie de Shannon

Longuement mûrie, la première partie de l’article de Shannon : A Mathematical Theory of Communication est publiée en juillet 1948 dans la revue Bell System Technical Journal. La deuxième partie parait en octobre. On remarque au passage les ressemblances avec plusieurs titres publiés précédemment : « Mathematical Theory of the Differential Analyzer« , « Mathematical Theory of Cryptography« .

Une théorie mathématique de la communication est proposée. Elle vise à optimiser les systèmes de transmission de l’information ainsi que le fonctionnement des calculateurs et machines de transmission de l’information. Il s’agit d’améliorer l’efficacité des signaux échangés, d’optimiser la quantité d’information transmise dans des canaux dont la capacité est limitée et dont les performances sont limitées par le bruit de fond.

Parmi ses aspects novateurs, l’article définit dès l’introduction le bit pour binary digit ou chiffre binaire. Bit signifie encore « petit morceau » ou bien « particule » en anglais. Le bit est l’unité binaire, élémentaire et atomique de l’information dont la définition relève de la logique.

shannon-bit
Un doigt levé ou baissé, un interrupteur ouvert ou fermé, une pièce de monnaie positionnée coté pile ou face, constituent des exemples simples de l’unité binaire de l’information mémorisée nommée bit pour binary-digit (chiffre binaire), par Shannon et JW Tukey.

Après un bref hommage rendu aux logarithmes, cette intéressante fonction qui permet de transformer une addition en multiplication et une soustraction en division, Shannon propose un schéma accompagné d’un modèle mathématique qui symbolise la transmission de l’information quelque soit son type : information discrète (numérique), continue (analogique) ou bien mixte (numérique et analogique). Le cas de l’information discrète avec et sans bruit est développé dans la première partie, aboutissant à la démonstration de multiples théorèmes illustrés d’exemples de transmission de messages écrits en anglais et de propositions relevant de l’étude statistique des langues écrites.

Le calcul de l’entropie de l’information est ensuite proposé. Cet indicateur statistique permet de caractériser plusieurs choses : la quantité maximale d’information qu’un canal peut transmettre en bits par unité de temps, ou bien l’hétérogénéité des composantes d’un message. La formulation retenue – une fonction pondérée du logarithme en base 2 de la probabilité de réception d’un signal – répond à la même équation que l’entropie de Boltzmann établie dans le contexte de la thermodynamique. Une même formule mathématique permet de décrire la dissipation de l’énergie dans un système et la transmission de l’information dans un canal.

De manière simplifiée et quelque peu intuitive, le calcul de l’entropie permet de mesurer le niveau de « désordre » dans un système, le niveau de variation potentielle des signaux constitutifs d’un message, l’hétérogénéité d’un signal, sa redondance ou bien encore les propriétés statistiques d’un alphabet. Elle mesure du côté du récepteur l’incertitude moyenne d’apparition d’un signal. Plus l’entropie d’un signal discret est élevée, plus la quantité d’information susceptible d’être transmise de manière concise est importante. Alors que l’entropie de Boltzmann est formulée en joules (énergie) par degré Kelvin, l’entropie de Shannon est quantifiée en bits.

Précédé d’un chapitre de Warren Weaver et reliant les deux parties initiales de Shannon, le livre « The Mathematical Theory of Communication » parait l’année suivante en 1949. Mathématicien de formation, Warren Weaver est directeur de 1932 à 1955 de la division Sciences naturelles de la Fondation Rockefeller. Il est notamment considéré comme le créateur du mot « Biologie moléculaire » et s’intéresse à la promotion de la traduction automatique des langues.

Dans son chapitre, Weaver vulgarise les aspects mathématiques de la théorie. Il en souligne l’aspect contre-intuitif. En effet, la théorie ne concerne ni la sémantique, ni le contexte du message, éléments pourtant centraux de la langue naturelle, que celle-ci soit écrite ou parlée. Dans le livre cosigné, l’article « A » qui signifie « Une » a été remplacé par « The » : « La Théorie … ».

Une traduction de l’introduction de l’article original de Shannon est ici proposée, suivie du plan traduit également en français. Deux figures de l’article original sont ensuite discutées de même que le titre. La théorie de la (télé)communication va se transformer effectivement en Théorie universelle de l’information, ce qui peut poser question pour le lecteur curieux de mécanique, d’électronique, de génétique.


2. A Mathematical Theory of Communication, by C.E. Shannon

2.1 Traduction de l’introduction de l’article

Le récent développement de diverses méthodes de modulation telles que la PCM (modulation d’impulsion codée – la voix numérisée) et la PPM (modulation en position d’impulsions – communication optique) qui échangent de la bande passante contre du rapport signal-bruit a intensifié l’intérêt d’une théorie générale de la communication. Une base d’une telle théorie se trouve dans les articles importants de Nyquist et Hartley à ce sujet. Dans le présent article, nous étendrons la théorie pour inclure un certain nombre de nouveaux facteurs, en particulier l’effet du bruit dans le canal, et les économies possibles dues à la structure statistique du message original et dues à la nature de la destination finale de l’information.

Le problème fondamental de la communication est celui de reproduire en un point, soit exactement soit approximativement un message sélectionné à un autre point. Fréquemment, les messages ont une signification; c’est à dire qu’ils se réfèrent à ou sont corrélés avec certains systèmes, avec certaines entités physiques ou conceptuelles. Ces aspects sémantiques de la communication ne relèvent pas du problème de l’ingénierie. L’aspect important est que le message réel est un élément choisi parmi un ensemble de messages possibles. Le système doit être conçu pour fonctionner pour chaque sélection possible, pas seulement celle qui sera effectivement choisie car celle ci est inconnue au moment de l’envoi.

Si le nombre de message dans l’ensemble est fini alors ce nombre ou toute fonction monotone de ce nombre peut être considéré comme une mesure de l’information produite quand un message est choisi parmi un ensemble, tous les choix étant équiprobables. Comme l’a souligné Hartley le choix le plus naturel est la fonction logarithmique. Bien que cette définition doive-t-être généralisée considérablement lorsque l’on considère l’influence des statistiques du message et lorsque nous avons une gamme continue de messages, nous allons utiliser dans tous les cas une mesure essentiellement logarithmique.

La mesure logarithmique est plus commode pour diverses raisons:

  1. Elle est plus utile de manière pratique. Des paramètres d’importance en ingénierie tels que le temps, la bande passante, le nombre de relais, etc., ont tendance à varier linéairement avec le logarithme du nombre de possibilités. Par exemple, l’ajout d’un relais à un groupe double le nombre d’états possibles des relais. On ajoute 1 au logarithme en base 2 de ce chiffre. Un doublement du temps multiplie au carré le nombre des messages possibles, ou double le logarithme, etc.
  2. Elle est plus proche de notre sens intuitif que de la mesure elle-même. C’est étroitement liée à (1) puisque nous mesurons intuitivement les entités en comparaison linéaire avec les standards communs. On ressent, par exemple, que deux cartes perforées doivent avoir deux fois la capacité d’une seule pour le stockage de l’information, et deux canaux identiques deux fois la capacité d’un seul pour transmettre l’information.
  3. Elle est mathématiquement plus appropriée. Un grand nombre d’opérations critiques sont simples en termes de logarithme mais exigeraient autrement un retraitement maladroit en terme de nombre de possibilités.

Le choix d’une base logarithmique correspond au choix d’une unité de mesure de l’information. Si la base 2 est employée, les unités qui en résultent peuvent être appelées digits binaires, ou plus brièvement bits [binary digits], un mot suggéré par JW Tukey. Un dispositif à deux positions stables, comme un relais ou un circuit à bascule, peut stocker un bit d’information. Un nombre N de tels dispositifs peut stocker N bits, puisque le nombre total d’états possibles est 2N et log22N = N. Si la base 10 est utilisée, les unités peuvent être appelées chiffres décimaux. Puisque

log2 M = log10 M / log10 2 = 3.32 log10 M,

un chiffre décimal correspond approximativement à 3 ⅓ bits. Une roue à chiffres sur une machine à calculer de bureau a dix positions stables a donc une capacité de stockage d’un chiffre décimal. Dans les travaux analytiques dans lesquels l’intégration et le calcul différentiel sont impliqués, la base e est parfois utile. Les unités d’information résultantes seront appelées unités naturelles. Un changement de la base a en base b exige simplement une multiplication par logb a.

Par un système de communication, nous entendrons un système du type de celui indiqué schématiquement dans la Fig. 1. Il est constitué essentiellement de 5 parties:

  1. Une source d’information qui produit un message ou une suite de messages destinés à être communiqués au terminal récepteur. Le message peut être de différents types: par exemple (a) Une séquence de lettres comme dans un système de type télégraphe ou téléscripteur; (b) Une simple fonction du temps f(t) comme dans la radio ou la téléphonie; (c) Une fonction du temps et d’autres variables comme avec la télévision noir et blanc – ici le message peut être pensé comme une fonction f(x;y;t) de deux coordonnées spatiales et du temps, l’intensité lumineuse au point (x;y) et au temps t sur la plaque du tube de récupération; (d) Deux ou plusieurs fonctions du temps, disons f(t), g(t), h(t) – c’est le cas dans le système de transmission du son en trois dimensions ou si le système est destiné à desservir plusieurs canaux individuels en multiplex. (e) plusieurs fonctions de plusieurs variables – avec la télévision couleur, le message consiste en trois fonctions f(x,y,t), g(x,y,t), h(x,y,t) définies dans un continuum tridimensionnel – nous pouvons aussi penser à ces trois fonctions comme des composantes d’un champs vecteur défini dans la région – de même, plusieurs sources de télévision en noir et blanc produiraient des « messages » constitués d’un certain nombre de fonctions de trois variables; (f) Diverses combinaisons se produisent également, par exemple pour la télévision avec une voie audio associée.
  2. Un émetteur qui intervient sur le message de manière quelconque pour produire un signal approprié à la transmission sur le canal. Dans la téléphonie cette opération consiste simplement à changer la pression sonore en un courant électrique proportionnel. Dans la télégraphie nous avons une opération d’encodage qui produit une séquence de points, de tirets et d’espaces sur le canal correspondant au message. Dans un système de multiplex PCM les différentes fonctions de la parole doivent être échantillonnées, comprimées, quantifiées et encodées, et finalement entrelacées convenablement pour construire le signal. Systèmes Vocoder, télévision et modulation de fréquence sont d’autres exemples d’opérations complexes appliquées au message pour obtenir le signal.
  3. Le canal est simplement le moyen utilisé pour transmettre le signal de l’émetteur au récepteur. Cela peut être une paire de fils, un câble coaxial, une bande de fréquences radio, un faisceau de lumière, etc.
  4. Le récepteur effectue habituellement l’opération inverse de celle effectuée par l’émetteur, reconstruisant le message à partir du signal.
  5. La destination est la personne (ou une chose) à laquelle le message est destiné.
shannon-model

Nous souhaitons considérer certains problèmes généraux impliquant des systèmes de communication. Pour ce faire, il est d’abord nécessaire de représenter les différents éléments impliqués comme des entités mathématiques, convenablement idéalisées à partir de leurs équivalents physiques. Nous pouvons grossièrement classer les systèmes de communication en trois catégories principales : discret, continu et mixte. Par un système discret, nous entendons celui dans lequel le message et le signal à la fois sont une séquence de symboles discrets. Un cas typique est la télégraphie dans lequel le message est une séquence de lettres et le signal une séquence de points, de tirets et d’espaces. Un système continu est celui dans lequel le message et le signal sont tous deux traités comme des fonctions continues, par exemple, avec la radio ou la télévision. Un système mixte est celui dans lequel des variables discrètes et continues apparaissent, par exemple, la transmission de la parole en PCM.

Nous considérons d’abord le cas discret. Ce cas présente des applications non seulement dans la théorie de la communication, mais aussi dans la théorie des calculateurs, dans la conception des échanges téléphoniques et dans d’autres domaines. De plus, le cas discret constitue une base pour les cas continus et mixtes qui seront traités dans la seconde moitié du papier.

[…]


2.2 Le plan en français

Une Théorie Mathématique de la Communication, Bell System Technical Journal, 1948

Introduction, p379, fig. 1

Partie I : Systèmes discrets sans bruit
  1. Le canal discret sans bruit, p382, théorème 1, fig. 2
  2. La source discrète d’information, p384
  3. Des séries d’approximations de l’anglais, p388
  4. Représentation graphique d’un processus de Markoff, p389
  5. Sources ergodiques et mixtes, p390, fig. 3, 4, 5
  6. Choix, incertitude et entropie, p392, fig. 6, théorème 2, fig. 7
  7. L’entropie d’une source d’information, p396, théorème 3, théorème 4, théorème 5, théorème 6
  8. Représentation des opérations d’encodage et de décodage, p399, théorème 7, théorème 8
  9. Le théorème fondamental pour un canal sans bruit, p401, théorème 9
  10. Discussion, p403
  11. Exemples, p404
Partie II : Le canal discret avec bruit

12. Représentation d’un canal discret avec bruit, p406
13. Équivoque et capacité d’un canal, p407, théorème 10, fig. 8
14. Le théorème fondamental pour un canal discret avec bruit, p410, théorème 11, fig. 9, fig. 10
15. Discussion, p413
16. Exemple d’un canal discret et de sa capacité, p415, fig. 11
17. La capacité du canal dans certains cas spéciaux, p416, fig. 12
18. Un exemple d’encodage efficace, p418

Appendice 1 : La croissance du nombre de blocs de symboles en condition d’état fini, p418
Appendice 2 : Dérivation de H, p419
Appendice 3 : Théorèmes sur les sources ergodiques, p420
Appendice 4 : Maximisation de la fréquence dans un système avec contraintes, p421

(à suivre… numéro d’octobre)

Partie III : Préliminaires mathématiques, p623

18. Groupes et ensembles de fonctions, p623
19. Ensembles de fonctions limitées par la bande, p627
20. Entropie d’une distribution continue, p628
21. Perte d’entropie dans les filtres linéaires, p633, tableau 1
22. Entropie de la somme de deux ensembles, p635

Partie IV : Le canal continu, p637

23. La capacité d’un canal continu, p637
24. La capacité d’un canal avec une limitation de puissance moyenne, p639
25. La capacité du canal avec un pic de limitation de puissance, p642

Partie V : La fréquence pour une source continue, p646

26. Fidélité des fonctions d’évaluation, p646
27. La fréquence de la source en fonction d’une évaluation de la fidélité, p649
28. Le calcul des fréquences, p650

Remerciements, p652
Appendice 5, p652
Appendice 6, p653
Appendice 7, p655

2.3 L’entropie, Figure 7

Dans le cas d’un signal binaire sans bruit, l’entropie présente plusieurs propriétés intéressantes qui, d’après Shannon, justifient son calcul. L’entropie représente la richesse en information d’un message. Soit un message constitué d’une suite de 0 et de 1, c’est lorsque la fréquence des 0 est statistiquement égale à celle des 1 que l’entropie et la quantité d’information susceptible d’être transmise sont maximales. Si un message ne contient que des 0 ou que des 1, son entropie est nulle et il ne transmet aucune information. Par analogie, la colonne d’une table de données qui contiendrait toujours la même information n’apporterait aucune variation dans l’information transmise et serait donc logiquement inutile. Le calcul de l’entropie peut être étendu à des systèmes comportant un plus grand nombre de valeurs discrètes comme dans le cas du morse, de l’alphabet.

shannon-entropy

2.4 Un système de correction, théorème 2, Figure 8

En présence de bruit, Shannon envisage dans son deuxième théorème la présence d’un « observateur » susceptible de corriger les données transmises de manière erronée. Une information supplémentaire correctrice est appliquée par l’observateur en vue de corriger les informations transmises de manière incorrecte. De manière pratique, sur les réseaux téléphoniques, la voie reste compréhensible en présence de bruit. Sur Internet par exemple, il est possible de s’assurer de l’intégrité des données transmises en calculant la somme de contrôle du fichier réceptionné et en la comparant avec celle d’origine, effectuant ainsi une sorte d’auto-rétroaction. En informatique cette fois-ci, un code correcteur est une technique de codage basée sur la redondance. Elle est destinée à corriger les erreurs de transmission d’un message dans un canal de communication peu fiable. En 2019, dans le processeur neuromorphique FSD de Tesla, des processeurs neuromorphes jumeaux dialoguent entre eux de manière cryptée, à l’image d’une conscience cybernétique en quelque sorte pour fournir des instructions d’assistance à la conduite automobile.

shannon-correction

3. Après la théorie

Le problème fondamental de la communication est celui de reproduire en un point, soit exactement soit approximativement un message sélectionné à un autre point.

Shannon

Shannon dans sa phrase d’introduction utilise le mot « point » pour symboliser à la fois l’émetteur et le récepteur. La localisation de l’information dans l’espace et le temps est donc envisagée. D’un côté l’information peut être transmise sur une distance, de l’autre elle peut être préservée et transmise dans le temps. La théorie traite indifféremment de l’information communiquée et mémorisée. La théorie de la communication (titre de l’article) est en fait une théorie de la transmission de l’information dans l’espace et le temps. Pour évoquer tout cela de manière concise, le nom de théorie de l’information a été retenu par les scientifiques.

Le mathématicien propose ensuite un cadre à sa théorie. Il exclue de son modèle l’aspect sémantique de l’information. Il se place à priori exclusivement dans le monde des machines communicantes, du traitement des signaux humains, de la linguistique, des codes et de leur fréquence. Sa théorie ne prend pas en compte les intentions de l’émetteur, ni l’attention nécessaire du récepteur, ni le contexte et les émotions générées. Trois éléments qui relèvent de la sémantique, de la psychologie, de la sociologie, du contexte.

L’émetteur émet un signal qu’il encode. Un canal de capacité limitée transmet le signal de manière bruitée. Le récepteur reçoit le signal et décode. Shannon prend en exemple de mémoire la carte perforée, en exemple de canal une paire de fils, un câble coaxial, une bande de fréquences radio, un faisceau de lumière. De nombreux dispositifs techniques sont cités comme le télégraphe ou le téléscripteur. Les exemples de messages sont des phrases écrites en morse ou en anglais. La structure des langues, les motifs répétés intéressent particulièrement le cryptographe. Ils interviennent à la fois pour favoriser la compréhension et peuvent servir d’accroche lorsqu’il s’agit de décoder un message crypté.

De manière générale, le message encode une logique partagée par l’émetteur et le récepteur. Un message incorrectement encodé ou un récepteur défaillant et l’information ne peut être transmise. Cependant, plusieurs supports peuvent contenir la même information. Des canaux différents peuvent transmettre une même information. Un même message peut être encodé de différentes manières, peut être compressé pour transiter par des canaux de capacité limitée, ou bien corrigé en cas d’erreur de transmission. La bande passante détermine les débits. Le mathématicien se place du côté du récepteur en attente d’un message. L’information résout alors une incertitude.

3.1 Quantifier et échantillonner l’information

Le bit (0 ou 1, oui ou non) reçu est défini comme unité logique et entière. Toute information transmise devient quantifiable en bits, comme l’énergie l’est en joule, la masse en kilogramme, la température en degré. Le nombre de bit peut caractériser la capacité d’une mémoire (le support), une vitesse de transmission en bit/s (le canal), une logique d’encodage (registre en 32 ou 64 bits d’un ordinateur, et au-delà du domaine des machines 4 bases possibles pour l’ADN, 22 acides aminés dans une protéine). Shannon propose ensuite le « diagramme schématique d’un système général de communication », la fameuse figure 1 reproduite en début d’article.

Toute information analogique peut être mathématiquement et physiquement transformée en information numérique sans perte en respectant une fréquence d’échantillonnage qui est une fonction de l’amplitude du signal. Un autre fameux article de Shannon publié en 1949 « Communication in the presence of noise » apporte une contribution majeure au Théorème d’échantillonnage. La PCM correspond effectivement à une numérisation de la voix. La fréquence d’échantillonnage entre en jeux pour calculer les pertes en cas de numérisation d’un signal analogique. Il est surtout possible de numériser sans perte de signal.

3.2 Entropie de Boltzmann et de Shannon

Prenez un numéro du New York Times, le livre sur la cybernétique, et un poids égal de papier de brouillon. Ont-ils la même entropie ? Oui, si vous vous en servez pour allumer le feu. Mais pas si vous êtes un lecteur. Il y a de l’entropie dans la disposition des taches d’encre.

Léon Brillouin

Variable d’état classique d’un système thermodynamique, l’entropie est surtout au fondement de la deuxième loi. Elle indique le sens de l’évolution d’un système expérimental clos, fait d’une paroi externe et d’un gaz parfait. Sans apport extérieur, le désordre qu’elle mesure ne peut qu’augmenter. Léon Brillouin tente de démontrer dans son livre de 1953 “Naissance de la théorie de l’information” l’équivalence entre l’entropie de Boltzmann et celle de Shannon. D’autres auteurs ne partagent pas ses conclusions. Un gaz parfait ne peut que difficilement être comparé à un ruban inscriptible de longueur infinie.

Quoiqu’il en soit, le calcul de l’entropie présente un intérêt pratique dans diverses disciplines. En génétique, l’entropie de Shannon permet de repérer sur un chromosome les portions d’ADN contenant le plus d’information codante. Les écologues utilisent le calcul de l’entropie pour mesurer la diversité des espèces dans un écosystème. Les sociologues mesurent l’indice de Theil fondé sur l’entropie pour observer la diversité des revenus dans une population par exemple.

3.3 Entropie et ADN, les cascades de l’information biologique

La fibre chromosomique contient, chiffré dans une sorte de code miniature, tout le devenir d’un organisme, de son développement, de son fonctionnement.

Erwin Schrödinger

Quelques mots supplémentaires doivent être ajoutés sur l’entropie et son usage au milieu du 20ème siècle. Schrödinger, un des fondateur de la physique quantique, publie en 1944 son fameux livre “What is life”. Cette publication rencontre un certain succès dans les milieux scientifiques. La notion d’entropie négative ou néguentropie, variable d’état caractéristique de la vie y est présentée.

Pour Schrödinger,  l’information génétique se trouverait localisée dans des cristaux présents au niveau des noyaux des cellules eucaryotes. Le physicien autrichien dresse un portrait robot des fonctions que doit remplir la substance biochimique qui code l’information génétique. La vie présente la caractéristique d’échapper sur le long terme à la seconde loi de la thermodynamique, du fait d’une information génétique transmise de génération en génération et fixée sur un support biochimique.

Caractérisé en 1953 à la suite d’une course intense entre britanniques et américains, la structure moléculaire de l’ADN – support de l’information génétique – est mise en évidence. En biologie, l’information se décline, est transmise, est inhibée, amplifiée et transformée à plusieurs niveaux. Calculée en nombre de paires de base, l’information génétique peut aussi être analysée et quantifiée en bits.

L’ADN se trouve à l’origine d’une cascade d’informations de différentes natures. Il se réplique (l’ADN produit de l’ADN) en 2 bits (4 possibilités) dans le noyau cellulaire. Quatre choix de bases nucléiques (A, G, C, T) sont possibles pour la DNA polymerase. La transcription (l’ADN produit de l’ARN) se produit également en 2 bits. Quatre choix de bases nucléiques (A, G, C, U) sont possibles pour la RNA polymerase dans le but de synthétiser une molécule d’ARN.

La traduction (l’ARN produit des protéines) se produit dans le cytoplasme. Cette opération se fait en 6 bits. Une association logique est faite entre 3 bases d’ARN messager et un acide aminé. Ainsi, avec 3 bases, 64 codons sont possibles. 64 codons correspondant à 3 x 2² = 2 puissance 6 choix d’information possibles pour le ribosome. L’ARN codent pour 22 acides aminés, un codon start et un codon stop soit 24 choix possible. Quels que soient les êtres vivants, plusieurs codons codent pour le même acide aminé et le code génétique est alors dit « dégénéré ». L’ADN chromosomique et l’ADN mitochondrial constituent chez l’homme le génome.

La logique de l’information se trouve déployée à d’autres niveaux de fonctionnement chez les organismes supérieurs dont les mammifères. Au niveau physiologique, une hormone peut être considérée comme un message analogique ciblant des récepteurs cibles et capable de moduler de multiples effecteurs. Pour une hormone, l’appareil cardiovasculaire est le canal.

Des tentatives d’associer la théorie de l’information avec le fonctionnement des neurones voient le jour sitôt la théorie émise. Un signal électrique transite depuis les dendrites par l’axone en direction des terminaisons et est transmis au deuxième neurone. Avec des réseaux de neurones disposés en plusieurs couches, le modèle trop basique de la théorie ne semble cependant pas approprié.

3.4 Shannon, le code génétique et le génome

La question qui peut alors se poser à l’historien est celle de savoir si Shannon connaissait les implications de sa théorie mathématique dans le domaine de ce qui lie fondamentalement l’homme à la nature, à savoir le code génétique et le génome. La thèse de Shannon concerne la génétique des populations. Cependant la théorie de l’information se rapporte aux outils et techniques de télécommunication et de calcul. Le livre de James Gleick de 2015 « L’information : l’histoire, la théorie, le déluge » propose un intéressant document d’archives confié par Elisabeth Shannon pour publication.

Dans ce manuscrit dont la date est estimée à 1949, simple liste écrite sur une feuille de classeur avec soin, Shannon compare les capacités de stockage en bits de différents objets et entités. Il trace un axe vertical nommé « bits storage capacity » (capacité de stockage en bits) échelonné de 10 puissance 0 à 10 puissance 13. En bas positionné sur 10 puissance 0, un relais ou une bascule synchrone (relay, flip flop) – 1bit. Viennent ensuite une roue crantée à 10 chiffres « digit wheel » 3×10 puissance 0 ; vers 10 puissance 3 : une carte perforée « punched card (all configs allowed)« ; vers 10 puissance 4 : frappe d’une page à interligne simple (32 symboles possibles). La constitution génétique de l’homme « genetic constitution of man » se trouve placée face à 10 puissance 5. D’autres items suivent « encyclopedia Britt » vers 10 puissance 9 et le tableau se termine en haut non loin de 10 puissance 15 par la bibliothèque du Congrès « library of congress« .

Pour Shannon, dès 1949, quatre ans avant la découverte de la structure moléculaire de l’ADN, six ans avant la définition du caryotype chez l’homme, nature et culture obéissent à une même logique, possiblement quantifiable en bits. La théorie de l’information concerne également les processus biochimiques génériques du vivant et donc la théorie de l’évolution. Se pourrait-il que certaines des idées de Darwin se retrouvent à la fois dans le vivant et dans les machines ?

Vers 1948, Shannon rencontre aux Bell Labs Mary Elizabeth Moore. Ils se marient en 1949 et auront trois enfants.

3.5 La cybernétique (1948-1956)

Je sais que j’ai été compris lorsqu’on m’a répondu

Shannon

3.5.1 Aux Etats-Unis

L’immédiat après guerre correspond à une période intense dans le domaine du calcul comme de la cryptanalyse aux Etats-Unis. Des brevets sont déposés. Des sociétés se créent, disparaissent et fusionnent autour de technologie plus ou moins éphémères. Des prototypes de calculateurs sont fabriqués en grand nombre.

Von Neumann propose en 1945 une architecture générale de construction d’un calculateur numérique appelée ultérieurement machine à architecture Von Neumann. Lors de la conception en 1953 à Princeton avec Julian Bigelow d’un calculateur nommé du nom de l’institut (Institute of Advanced studies) machine IAS. Une quinzaine de clones de l’IAS sont construits car le physicien ne dépose pas de brevet et écrit librement sur le sujet.

Le Magnetic Drum Digital Differential Analyzer (MADDIDA) est développé entre 1946 et 1949 pour la société Northrop par Floyd Steele. Ce calculateur est dédié à la résolution des équations différentielles. Il est équipé d’un tambour magnétique.

Les calculateurs GOLDBERG (1947) et DEMON (1949) de la société Engineering Research Associates (ERA) dédiés à la cryptanalyse intègrent également ce composant. ERA commercialise après guerre des tambours magnétiques pour différents clients y compris IBM. Mais des tambours anglais et suédois sont également produits comme par exemple sur le BESK suédois (1953) dédié aux prévisions météorologiques.

Dans une ambiance maccarthyste (1950-1954), le caractère multidisciplinaire de l’information, de la communication et de l’action inspire de nombreux scientifiques de différentes spécialités tels que Wiener, Von Neumann, Warren McCulloch, Margaret Mead, Lawrence Kubie. La “Cybernétique” et la “Théorie de l’Information” rencontrent un succès international.

Warren Weaver publie en 1949 son mémorandum « Translation« . Cette note diplomatique du directeur de la division Sciences naturelles de la Fondation Rockefeller rend compte de discussions avec Wiener, McCulloch et Pitt actifs sur les réseaux de neurones, le britannique Andrew Booth et Shannon notamment. La possibilité d’une traduction basique du langage naturel et en particulier du russe, de faible qualité mais rapide, faite par un calculateur spécialisé est suggérée.

Shannon aborde en 1950 la théorie de la programmation du jeu d’échecs avec son article Programming a Computer for Playing Chess. Ce papier inspire tous les programmes d’échecs passés et actuels. Il construit la même année sa machine à jouer aux échecs.

L’ingénieur assiste à New-York en 1950, 1951 et 1953 aux conférences de la fondation Macy (1946-1956) dans lesquelles sont discutées conjointement des questions de physique, d’automatique, de psychologie et d’économie. Il y présente en 1952 un automate résolveur de labyrinthes construit avec Elisabeth Shannon pour le câblage des circuits. Une souris prénommée Thésée retrouve seule son chemin dans un dédale paramétrable. Un calculateur trouve de manière brute et mémorise les solutions d’un problème complexe.

Les modèles et processus de décision évoqués dans les réunions Macy concernent aussi bien les machines à calculer, que la neurophysiologie, la psychologie dans un esprit béhavioriste. Wiener y développe les concepts de « boîte noire« , d’action et de feedback (rétroaction). Ces mouvements de pensée influencent notablement les scientifiques de cette époque. Ainsi, George Armitage Miller publie en 1951 Language and Communication. Il deviendra quelques années plus tard avec Noam Chomsky l’un des fondateurs des Sciences cognitives. Gregory Bateson publie en 1951 Communication: The Social Matrix of Psychiatry, alors même que les travaux sur la propagande du publicitaire et sociologue Edward Bernays agitent le monde du marketing.

La métaphore animale devient à la mode. De multiples robots plus ou moins autonomes sont mis au point à cette époque, créés par des scientifiques de diverses disciplines, motorisés par batterie, contenant des capteurs et dirigés par électronique analogique. Précurseur, le neurobiologiste William Grey Walter s’intéresse à l’homéostasie dans le vivant. Il crée dès 1940 les tortues Elmer et Elsie, connues également sous le nom de tortues de Bristol. Elles réagissent aux sollicitations lumineuses et sonores. Marvin Minsky et Dean Edmonds créent le robot résolveur de labyrinthe SNARC en 1951.

Shannon publie en 1953, Computers and Automata. Cet article résume brièvement certains des développements récents dans le domaines des automates et du calcul non numérique. Des machines caractéristiques sont décrites, incluant des machines logiques, des machines jouant à des jeux, des machines capables d’apprendre. Des questions théoriques sont discutées, telles qu’une comparaison entre les calculateurs et le cerveau, la formulation de Turing des calculateurs et les modèles de Von Neumann de machines autoréplicatives. Cet article va stimuler comme nous allons le voir l’imagination de jeunes mathématiciens et ingénieurs.

La démonstration de traduction automatique de l’Université de Georgetown et d’IBM se déroule au début de l’année 1954. Plus de soixante phrases sont traduites du russe à l’anglais par un prototype. La longue aventure de la traduction automatique des langues naturelles débute, médiatisée en couverture du New York Times.

Aux Etats-Unis, les calculateurs investissent également le secteur bancaire. La Bank of America commande au Stanford Research Institute at Menlo Park un prototype de calculateur capable d’accélérer le traitement des chèques. Un prototype de calculateur à usage général nommé ERMA (Electronic Recording Machine, Accounting) est construit à Stanford de 1950 à 1955. Les premiers calculateurs fabriqués en série apparaissent aux Etats-Unis à cette époque.

John Eckert crée pour le prototype EDVAC (Electronic Discrete Variable Automatic Computer) délivré en 1949 un nouveau type de mémoire, la mémoire à ligne de délai qui fonctionne à l’aide de mercure. Cet impressionnant composant est issu des recherches sur les radars. Un système de bande magnétique innovant sert également à la gestion des entrées et sorties. EDVAC est conçu à l’Université de Pennsylvanie pour faire face aux besoins du Laboratoire de recherche en balistique (Ballistics Research Laboratory) de l’US Army sur l’Aberdeen Proving Ground. Une bataille juridique oppose ensuite le laboratoire aux concepteurs Eckert et Mauchly.

En effet, directement inspirée de ces recherches militaires, la série commerciale UNIVAC fabriquée par la Eckert-Mauchly Computer Corporation (EMCC) voit le jour. UNIVAC I, premier ordinateur commercial réalisé aux États-Unis est vendu et mis en service au Bureau de recensement en 1951. L’enregistreur-lecteur de bande magnétique UNISERVO constitue le système principal d’entrée-sortie sur ce calculateur particulièrement innovant. UNIVAC I utilise 5 200 tubes à vide, pèse 13 tonnes. L’unité centrale accueille la mémoire à ligne de délai. Celle-ci mesure 4,3 m × 2,4 m × 2,6 m à elle seule.

Grace Hopper écrit pour cette machine un programme spécial A-0 system. Ce programme ancêtre des compilateurs transforme des spécifications en code machine. Le concept de compilateur émerge à cette époque et répond à l’importante question : comment parler à l’aide d’un seul langage à des machines qui comprennent diféremment les mêmes instructions ?

Des sociétés se créent et disparaissent ou évoluent à grande vitesse. Alors qu’EMCC construit UNIVAC, cette société est vendue en 1950 à Remington Rand pour fusionner ensuite à Sperry Corporation et devenir Sperry Rand en 1955. L’ERA 1101 ultérieurement nommé UNIVAC 1101 construit par Engineering Research Associates est annoncé publiquement en décembre 1951.

De son côté, IBM initie la série 700. L’IBM 701 sort en 1952. Des tubes de Williams mis au point par les britanniques Frederic Calland Williams et Tom Kilburn servent de mémoire vive. Ils doivent être refroidis et s’avèrent peu fiables. Ils sont remplacés sur IBM 704 sorti en 1954 par la révolutionnaire mémoire à tores magnétiques. Ce type de mémoire est développé précédemment à Boston par plusieurs membres du MIT parmi lesquels Jay Forrester, chef de projet sur Whirlwind I, un prototype militaire financé par l’US Navy entre 1945 et 1951. Une âpre bataille juridique oppose ultérieurement les concepteurs du MIT à IBM pour l’exploitation des brevets.

Tout autant que les batailles juridiques, la guerre froide joue un rôle important dans le développement des nouvelles techniques de calcul à cette époque. La RAND corporation – à ne pas confondre avec Remington Rand – est fondée en 1948. Ce think-tank toujours en activité en 2019 est présent en différents états américains, à Bruxelles, Londres et au Moyen-Orient. L’organisme produit des rapports d’expertise susceptibles d’influencer les politiques publiques en une multitude de domaines, essentiellement économiques, politiques et militaires. Son activité de recherche concerne également à cette époque le calcul et ses aspects théoriques.

Ainsi John Nash y mène une activité d’expertise et publie en 1952 Some Games and Machines Playing them. Le mathématicien à l’ocasion de visiter le laboratoire de Shannon aux Bell Labs qui vient de mettre au point une machine dédiée au jeu de plateau Hex. John Nash avait lui-même inventé ce jeu en 1948 et l’avait diffusé au Fine Hall, une salle commune aux élèves et aux professeurs du département de mathématiques de l’Université de Princeton. Nash en souligne dans son rapport certains intérêts en relation avec des stratégies militaires et politiques. Activement relayées par les médias, les craintes d’un bombardement nucléaire des cités américaines sont activement évoquées à cette époque.

3.5.2 Au Royaume-Uni

Mais revenons aux calculateurs si vous le voulez bien et traversons l’Atlantique. Côté britannique, des prototypes de machines de calcul retiennent l’attention. En 1946, Williams et Burns invente le tube de Williams, un tube cathodique utilisable comme mémoire vive. Williams met au point en 1948 la Small-Scale Experimental Machine, premier ordinateur dont le programme est enregistré dans la même mémoire que les données. Cette machine sert de base au Manchester Mark I (1948) dessiné par Williams et Kilburn. Le tandem renouvelle l’expérience sur Manchester Mark II. La société Ferranti se base sur les travaux du tandem pour fournir en 1951 un des premier calculateur commercial d’usage général, le Ferranti Mark 1. Constructeur d’engins de simulation pour les opérateurs radar, membre du Ratio Club et présent à Dartmouth, Albert Uttley construit de son côté en 1950 pour les télécommunication britanniques le TREAC Computer.

Turing entreprend au National Physical Laoratory la construction de l’Automatic Computing Engine, premier calculateur capable d’exécuter des calculs en virgule flottante. Les travaux débutent fin 1945 et sont finalisés en 1953. Le cryptologue développe en 1948 Turochamp, un programme de jeu d’échecs inabouti. Il devient également membre du très britannique Ratio Club et publie en 1950 Computing machinery and intelligence, un des article fondateur de l’intelligence artificielle qui introduit la notion de test de Turing. L’esprit peut être fondamentalement caractérisé par sa capacité à fournir des réponse logique en langage naturel. Le britannique disparaît en 1954 mais laisse une empreinte forte et durable sur les mathématiques appliquées et l’intelligence artificielle, comme nous allons le voir plus loin.

Andrew Donald Booth et Kathleen Britten travaillent en 1947 à l’Université de Birkbeck proche de Londres à la mise au point d’un nouveau prototype de calculateur l’APEXC. Kathleen Britten invente sur la base de travaux propres publiés en 1947 le langage assembleur. Le langage machine était le seul possible précédemment pour transmettre des instructions aux calculateurs. L’assembleur est un langage de bas niveau qui reste spécifique de la machine. Cependant, les instructions sont écrites sous une forme lisible par l’homme.

L’APEXC est dédié à l’interprétation des spectres de diffraction des rayons X en vue d’analyser la structure de la matière cristallisée. Le couple est influencé dans ses avancées par la visite réalisées en 1947 de l’IAS de Princeton. Von Neumann et Herman Goldstine accueillent les visiteurs bratanniques. Andrew Booth met au point en 1951 au collège de Birkbeck le Hollerith Electronic Computer (HEC). Andrew Booth gagne ultérieurement le Canada pour se montrer actif dans le domaine de la traduction automatique.

La compagnie Elliott Brothers construit en 1950 son premier calculateur numérique spécifique, l’Elliott 152. Il s’agit d’un prototype de calculateur fonctionnant à l’aide de tubes électronique dont le programme est dédié au calcul en temps réel du contrôle de tir des canons dans la marine. A coté de ces machines dédiées, la société se montre active dans la fabrication de calculateurs généraux et dans la fabrication de systèmes automatiques civils. Devenue Elliott Automation Ltd en 1957, elle commercialise des machines scientifiques dans le domaine scientifique.

3.5.3 En france

Côté français, les accueils de la cybernétique et de la théorie de l’information se montrent globalement mitigés. Cependant, Dominique Dubarle, logicien et philosophe, a lu et compris Neumann, Wiener, Descartes, Hobbes et quelques autres. Il publie dans Le Monde en 1948 Vers la machine à gouverner auquel il oppose Le meilleur des Mondes de Huxley. Les perception de la théorie va cependant évoluer avec les travaux du début à la fin des années 1950 de personnalités comme Marcel-Paul Schützenberger, René de Possel actif dès 1936 sur la théorie des jeux.

Du côté des fabricants de calculatrices, l’ingénieur François-Henri Raymond a l’occasion de rencontrer en 1945 Haiken à Harvard. Fortement impressionné, il fonde en 1948 la Société d’Electronique et d’Automatisme (SEA). Des séries de calculateurs électroniques analogiques sont construits et vendus en France de 1950 à 1960. Trois exemplaires de la machine CAB 1011 sont vendus au service du chiffre du SDECE (CAB : Calculatrice Arithmétique Binaire) et utilisée jusqu’en 1965. Une machine CUBA (Calculatrice Universelle Binaire de l’Armement) est installée au Laboratoire Central de l’Armement à Arcueil. Le premier exemplaire de la série CAB 2000 est livré chez Matra en exécution d’un marché du Service Technique Aéronautique. La technologie de ces machines est à base de tubes et de diodes au germanium. Tous les ordinateurs SEA, sauf CUBA, sont dotés des mémoires à tores de ferrite.

Bull présente la Gamma 2 au salon du SICOB d’octobre 1951, évolution repensée de sa calculatrice C3. La version commerciale Gamma 3 (1952-1960) rencontre un grand succès avec 1000 exemplaires vendus. IBM poursuit en France la construction de différents modèles dans son usine de Corbeil-Essonnes. L’effectif de l’atelier d’assemblage français dépasse les 1000 employés en 1954.

L’Institut Blaise Pascal du CNRS est fondé an 1946 avec pour objectif de créer une machine scientifique purement française. En 1951, Louis Couffignal dirige l’organisation du colloque international « Les machines à calculer et la pensée humaine » . Norbert Wiener, W. Ross Ashby, Howard Aiken, Torres-Quévédo fils, Louis Lapicque, Lucien Malavard sont réunis à Paris. Alors que les tentatives de construction d’un prototype français de calculateur scientifique ne parvient pas à se concrétiser, une machine Elliott Brothers britannique est finalement achetée en 1956. De Possel dirige le laboratoire de calcul numérique à l’Institut Henri Poincaré en 1957 et remplace Couffignal à l’IBP cette même année. Il va se montrer actif dans les domaines de la traduction automatique et de l’informatique documentaire.

Albert Ducrocq met au point en 1953 « Job le Renard électronique« . Claude Lévi-Strauss, anthropologue et sociologue, se montre lui aussi influencé par le courant cybernétique. Il publie en 1955 Les mathématiques de l’homme. Le franco-américain Léon Brillouin, physicien et professeur de mathématique appliquée à Harvard de 1947 à 1949 publie en 1956 Science and Information Theory, traduit en français en 1958. Il remarque par exemple qu’un jeu de 32 cartes est susceptible d’être codé en 5 bits. Certaines des relations entre les lois de l’information, des probabilités, de la thermodynamique et les automates sont explorées.

3.5.4 En Union soviétique

Les premiers calculateurs soviétiques fabriqués en série sont datés de 1953. Le Strela est fabriqué à sept exemplaires dans les années 1953 à 1957. Ils utilisent pour leur mémoire vive des tubes de Williams ainsi que des mémoires ROM pour stocker les programmes. Les données sont stockées sous forme de cartes perforées et de bandes magnétiques. Bashir Rameev joue un rôle majeur dans la conception de ces machines localisées de l’autre côté du rideau de fer.

3.6 L’effet de mode 1956

Une certaine effervescence règne à cette époque de part et d’autre de l’Atlantique. Suite au bon fonctionnement des prototypes, les calculateurs IBM, Ferranti et Bull sont fabriqués en série pour des applications militaires, scientifiques, de gestion, de jeu et de théories. Plusieurs événements significatifs pour la carrière de Shannon vont alors se dérouler successivement en 1955 et 1956.

3.6.1 Le projet de recherche de Dartmouth

John McCarthy, Marvin Minsky, Nathaniel Rochester et Shannon proposent formellement le 31 août 1955 la tenue d’une conférence qui doit se dérouler un an plus tard. Le terme Intelligence artificielle est choisi par McCarthy, jeune enseignant de mathématique à l’université privée de Dartmouth. Le groupe entend se démarquer du courant Cybernétique de Wiener. Le titre retenu est le suivant : Dartmouth Summer Research Project on Artificial Intelligence. Les financements réunis par McCarthy proviennent de la fondation Rockefeller. L’un des participants, Solomonoff a eu l’heureuse idée d’archiver et de mettre en ligne les documents qui témoignent de l’événement original. La page personnelle de McCarthy contient certains documents transcrits.

Les réalisations effectives et propositions de recherche des quatre organisateurs de la conférence sont ensuite détaillées. Il est rappelé que Shannon a développé la théorie statistique de l’information, a travaillé sur les circuits de commutation, la conception de machines apprenantes, la cryptographie et la théorie des machines de Turing. Minsky, un jeune doctorant de Harvard diplômé en mathématique, a construit une machine, le SNARC, qui simule l’apprentissage par des réseaux de neurone. Sa thèse soutenue en 1954 s’intitule « Neural Nets and the Brain Model Problem« .

Rochester travaille à IBM. Il s’est occupé du développement des radars pendant sept ans, des calculateurs pendant sept ans. Il a contribué à la construction de l’IBM 701 et travaille également sur les réseaux de neurones artificiels sur IBM 704.

McCarthy a travaillé sur la théorie des machines de Turing, la vitesse des calculateurs, la relation cerveau environnement et l’usage des langages par les machines.

L’appel à rassemblement propose sept thèmes. 1/ Les calculateurs automatiques, l’écriture de langages de programmation fonctionnels; 2/ La programmation d’un calculateur dans le but de manipuler des textes, implémentation d’une grammaire et d’une logique dans les langages de programmation; 3/ Les réseaux de neurones, arrangement des réseaux pour faire émerger la notion de concept. Les travaux de Uttley, Raschevsky, Farley et Clark, Pitts et McCulloch, Minsky, Rochester et Holland sont cités; 4/ Théorie de la complexité d’un problème de décision, la complexité des fonctions nécessaires, Shannon, McCarthy; 5/ L’auto-amélioration, théories de l’auto-amélioration de machines intelligentes; 6/ Abstractions, classification des types d’abstraction et de leur usage par les machines; 7/ Rôle du hasard et de l’intuition dans la créativité.

Parmi les personnalités citées dans l’appel, Albert M. Uttley s’intéresse au Royaume-Uni à la conception d’un calculateur à probabilité conditionnelle. Il a construit le TREAC Computer pour les télécommunications britanniques. Nicolas Rashevsky souvent cité par McCarthy publie sur les fondements physico-mathématiques de la biologie. Actifs au MIT, Belmont Farley et Wesley Clark s’intéressent à la reconnaissance des formes. Ils parviennent à simuler sur calculateur en 1954 et 1955 sur IBM 704 l’entrainement d’un réseau de 128 neurones artificiels dans le but de reconnaître des motifs visuels simples. Ils découvrent de plus que la destruction aléatoire de jusqu’à 10% des neurones n’affecte pas la performance globale. Ils communiquent Generalization of pattern recognition in a self-organizing system à la conférence Session of Learning Machines de 1955.

Walter Pitts et Warren Sturgis McCulloch font figure de véritables pionniers de l’IA avec leur neurone formel, modèle mathématique et informatique d’un neurone biologique. Ils publient dans le Bulletin of Mathematical Biophysics A Logical Calculus of the Ideas Immanent in Nervous Activity et concluent avec emphase que tout comme une machine de Turing, un réseau de neurones pourvu de dispositifs afférents et efférents adéquats peut faire n’importe quel type de calcul mathématique. Walter Pitts est un jeune logicien ancien élève de Rashevsky qui va contribuer à fonder les sciences cognitives. Neurophysiologiste, McCulloch travaille depuis 1952 au Research Laboratory of Electronics du MIT. Ses études portent sur la perception des signaux visuels. Il a joué précédemment un rôle actif régulier aux conférences de Macy (1946-1953).

John Henry Holland est un jeune diplomé en psychologie, mathématique et électrotechnique. Il publie en 1956 avec Rochester : Tests on a cell assembly theory of the action of the brain, using a large digital computer. Des réseaux de neurones sont simulés sur IBM 704. La formation d’assemblages automatique de cellules à partir d’un réseau non organisé de neurones est démontrée, ainsi qu’un mécanisme plausible pour une mémoire à court terme.

Les candidats à la participation doivent décrire leurs travaux dont les idées peuvent être critiqués pendant le mois précédant la période de travail. Des séminaires de recherches et travaux en sous-groupes sont prévus et possibles sur une durée de deux mois. Vingt personnes se réunissent finalement à Dartmouth de fin juin à août 1956. Une liste de quarante-sept personnes potentiellement intéressées par un compte-rendu est dressée par McCarthy.

Parmi les présents W. Ross Ashby (psychiatre), Julian Bigelow (ingénieur concepteur de la machine IAS), Tom Etter, John Holland (psychologue, ingénieur), Donald M. MacKay (physicien), Warren S. McCulloch (neurophysiologiste, cybernéticien), Trenchard More (mathématicien, ingénieur), John Nash (mathématicien, expert RAND), Allan Newell (mathématicien, expert RAND), Herbert Simon (psychologue), Abraham Robinson (mathématicien), Arthur Samuel (ingénieur), David Sayre (ingénieur, membre de l’équipe des programmeurs de Backus, créateur de FORTRAN en 1957), Oliver Selfridge (ingénieur), Ray Solomonoff (mathématicien).

L’une des interventions remarquable est celle faite par Simon, Newell et Shaw. Comme le précise McCarthy dans ses mémoires, ceux-ci décrivent la deuxième version du langage IPL (Information Processing Language), un langage du type assembleur qui permet la gestion des listes chaînées. Il est implémenté uniquement à cette époque sur le JOHNNIAC de la Rand Corporation. Le trio expose la réalisation d’un programme écrit à l’aide de ce langage, le Logic Theorist. Celui-ci prouve 38 des 52 théorèmes du Principia Mathematica, ouvrage de Whitehead et Russell considéré comme un des livres les plus influents de l’histoire de la logique.

Le programme basé sur l’exploration d’un arbre de recherche trouve des preuves nouvelles et parfois plus élégantes à certaines des démonstrations. Un type restreint d’intelligence que l’on croyait précédemment réservé à l’homme – la logique mathématique – peut être avantageusement confié à des calculateurs pourvus d’un langage. Certains raisonnements peuvent être mécanisés. La nécessité d’un langage de haut niveau apparaît. Les deux premières réalisations seront nommées Fortran (1957), en cours de rédaction à l’époque de Dartmouth, et Lisp (List processing) publié par McCarthy en 1958.

[We] invented a computer program capable of thinking non-numerically, and thereby solved the venerable mind-body problem, explaining how a system composed of matter can have the properties of mind.

Herbert Simon

Du calcul des prédicats émerge progressivement en histoire de l’intelligence artificielle une logique possiblement floue. Des réseaux de neurones artificiels peuvent effectuer des tâches complexes. Des programmes informatiques explorent des graphes en vue de démontrer des théorèmes, de jouer à des jeux ou de synthétiser de la musique. Malade en 1956, Von Neumann décède l’année suivante. Quatre membres de la conférence de Dartmouth recevront ultérieurement le prix Turing (Minsky, McCarthy, Simon, Newell), deux autres le prix Nobel d’économie (Simon en 1978, Nash en 1994). Le cinquantième anniversaire du colloque commémoré en 2006 expose les défis de l’intelligence artificielle pour les cinquante ans à venir !

3.6.2 Automata Studies

Déjà en préparation lors de l’appel à réunion, Shannon et McCarthy publient en 1956 « Automata Studies » dans le volume 34 de Annals of Mathematics Studies. Ce volume de 300 pages réédité cinq fois jusqu’en 1972 rassemble des articles de Shannon, McCarthy, Ashby, Culbertson, Davis, Kleene, Leeuw, MacKay, Minsky, Moore, Shapiro, Uttley, Von Neumann. Il y est essentiellement question de plusieurs théories nécessaires au développement des calculateurs. Kleene, von Neuman, Culbertson Minsky et Moore développent la notion d’automate fini.

Ainsi Kleene, dans Representation of Events in Nerve Nets and Finite Automata réinterprète les travaux précédents de McCulloch et Pitts sur les réseaux de neurones pour en fournir une interprétation fondatrice de la Théorie des automates. La notion d’expression régulière est introduite. Ce qui est maintenant connu comme théorème de Kleene en informatique théorique affirme qu’un langage est régulier (rationnel) si et seulement s’il est reconnu par un automate fini. Les langages réguliers correspondent au niveau le plus fondamental (niveau 3) de la hiérarchie des langages formels, introduite par Noam Chomsky, membre du MIT, dans son article de 1956 Three models for the description of language et développé ultérieurement. Ainsi, une expression régulière telle que « /^[^\W][a-zA-Z0-9_]+(\.[a-zA-Z0-9_]+)*\@[a-zA-Z0-9_]+(\.[a-zA-Z0-9_]+)*\.[a-zA-Z]{2,4}$/ » identifie une adresse mail valide et peut être représentée sous la forme d’un graphe symbolisant l’action d’un automate fini.

Shannon publie un article sur une machine de Turing universelle à deux états. Pour Chomsky, la machine de Turing correspond au niveau le plus complexe de la hiérarchie des langages formels (niveau 0). Après évocation des travaux de Descartes dans « De Homine« , Shannon et McCarthy poursuivent la rédaction de leur éditorial dont un court extrait est ici traduit.

Le problème de donner une définition précise au concept de « penser » et de décider si une machine donnée est capable ou non de penser a provoqué de grandes discussions animées. Une définition intéressante a été donnée par A. M. Turing : une machine est qualifiée capable de penser si elle peut, sous certaines conditions prescrites, imiter un être humain en répondant suffisamment bien à des questions pour tromper un interrogateur humain pendant une période raisonnable de temps. Une définition de ce type a pour avantage d’être opérationnelle, ou, dans le vocabulaire des psychologues, de nature béhavioriste. Les notions métaphysiques de conscience, d’ego et notions analogues ne sont alors pas nécessaires.

Shannon, Automata Studies, 1956

3.6.3 Le wagon orchestre

La créativité et le doute sont sans doute deux des moteurs antagonistes de la méthode scientifique. Cette même année 1956, Shannon s’attache à expliquer les limites de la Théorie de l’information dans son article de 1956, The Bandwagon, la « voiture orchestre » – l’effet de mode nommé métaphoriquement par les psychologues en référence au véhicule qui joue lors d’un défilé électoral aux Etats-Unis.

Les systèmes biologiques sont, estime Shannon trop complexes pour être modélisés par la seule théorie de l’information, le seul béhaviorisme, la seule psychanalyse, la seule logique mathématique. Les données de la psychologie, en particulier de la psychologie sociale, de l’économie et d’autres sciences humaines doivent être analysées scientifiquement avant qu’une théorie complète de la communication chez l’homme ne puisse être élaborée. La théorie doit être considérée avec recul et son étendue à d’autres disciplines qu’au traitement des signaux, qu’aux machines et aux calculateurs résulte sans doute d’un enthousiasme excessif.

Par ailleurs, Shannon quitte progressivement à cette époque les Bell Labs pour poursuivre une carrière universitaire au MIT. Il devient ainsi professeur invité du Research Laboratory of Electronics au MIT en 1956, professeur permanent en 1958, professeur émérite en 1978 pour faire valoir ses droits à la retraite. Il reste cependant affilié aux Bell Labs jusqu’en 1972.

La théorie de l’information a peut être été exagérée, considérée au-delà de ses réalisations effectives.

Information theory has perhaps ballooned to an importance beyond its actual accomplishment.

Shannon

Conclusion

Plusieurs implications semblent se dégager de la théorie de l’information. Dans le cadre d’une élection par exemple, lorsqu’un référendum est organisé, un bit d’information est transmis d’un individu à une urne, dispositif physique rendant possible le calcul de choix communs. Alors que disparaissent progressivement les pièces, billets de banque et chèques, les monnaies et autres systèmes de paiement peuvent être observées au prisme des lois de l’information. Dans le domaine médical, un stimulateur cardiaque par exemple, sorte de directeur cybernétique, vient réguler les pulsations lorsque celles-ci s’avèrent irrégulières.

L’étude aussi exhaustive que possible des calculateurs généraux de première génération met bien en évidence des relations de filiation entre les machines et les langages artificiels qu’elles comprennent, basées sur le nom des concepteurs et le succès ou non de l’entreprise sur le marché des calculateurs électroniques, sur la persistance de programmes tels que les compilateurs et les langages de haut niveau. Ainsi les machines de Zuse KG rencontrent le premier un succès dans l’immédiat après-guerre, alors que le langage Plankalkül ne parvient à la postérité que de manière anecdotique. Les machines construites par Eckert, Mauchly et Von Neumann donnent lieu à la série UNIVAC. Le prototype Whirlwind de 1951 voit sa mémoire à tores magnétiques largement adoptée par plusieurs séries incluant le mythique IBM 704 (1954) – calculateur des premiers réseaux de neurones, le AN/FSQ-7 (1956) développé dans un cadre militaire, et le Ferranti Mercury (1957).

En France, IBM propose en 1955 le nom « ordinateur » pour son modèle IBM 650 produit à plus de 2000 exemplaires, première machine de série destiné à la gestion. La société Bull réplique en proposant « ordonnateur » pour désigner le modèle scientifique de son calculateur Gamma. L’Académie Française adopte en 1967 le mot informatique afin de désigner la « science du traitement de l’information » ou plus exactement la « Science du traitement rationnel, notamment par des machines automatiques, de l’information considérée comme le support des connaissances humaines et des communications dans les domaines techniques, économiques et sociaux ». Le terme de Systémique est actuellement préféré à celui de Cybernétique, dont seul les aspects militaires ont été retenus par la langue.

Shannon est considéré comme l’un des pionniers de l’intelligence artificielle pour ses travaux dans lesquels théorie et pratique se croisent. Il met au point plusieurs automates électromécaniques au début des années 50, s’intéresse également à la programmation du jeu d’échecs, organise la conférence de Dartmouth considérée comme une étape importante dans l’histoire de l’informatique et de l’intelligence artificielle. Une faible part de ses travaux a été ici survolée et replacée aussi bien que possible dans le contexte des époques traversées. Quelques vidéos en annexe souvent en anglais donnent la parole aux acteurs, montrent des machines, évoquent des histoires d’entreprises.

Dernière petite précision : le mathématicien prend plaisir à pratiquer le monocycle, à jongler, à construire des machines apparemment inutiles, amusantes. Un jeu se caractérise par une quantité d’information visible du joueur et une quantité inconnue en provenance du partenaire, de l’adversaire ou du système. La théorie des jeux doit pour Shannon être mise en électronique. Sa maison est remplie d’inventions parmi lesquelles on peut mentionner le THROBAC, un calculateur qui fait des opérations arithmétiques en chiffres romains, une machine à jongler avec trois balles. Il invente le jeu des commutations dans lequel deux joueurs s’opposent en s’appropriant les nœuds d’un graphe. Une machine reconstitue le Rubik’s Cube. Avec l’Ultimate Machine – étrange automate à portée philosophique dont l’idée originale est à porter au crédit de Marvin Minsky – il est possible de dire que tout finit, tout commence par un déclenchement.

J’ai travaillé à mes moments perdus sur une analyse de certaines propriétés fondamentales des systèmes généraux de transmission de l’intelligence.

Lettre de Shannon à Vanevar Bush, 16 février 1939

Quelques liens

A. Musées, archives, histoire, généralités et théories

  • Crypto Museum, cryptomuseum.com, a virtual museum in the Netherlands : Lien
  • Computer History Museum (CHM) : Lien
  • History of Computers (HOC) : HOC
  • cyberneticzoo.com, a history of cybernetic animals and early robots : Lien
  • FEB-patrimoine (Bull) : Lien
  • La chronologie et les prémices des ordinateurs (1931 à 1959) : Lien
  • List of IEEE (Institute of Electrical and Electronics Engineers) milestones : Lien
  • Calculatrice mécanique : Lien; Mécanographie : Lien, Vidéo 1:54; Histoire de l’informatique : Lien, Histoire des ordinateurs : Lien; Chronologie de l’informatique : Lien; Histoire de la cryptologie : Lien; Histoire de l’intelligence artificielle : Lien; Informatique théorique : Lien; Méthode formelle (informatique) : Lien; Théorie des jeux : Lien; Théorie des automates : Lien; Switching circuit theory : Lien; History of computing hardware : Lien; List of vacuum tube computers : Lien; Semi-automatic ground environment (SAGE system) : Lien
  • IBM 704 sings Daisy Bell with MUSIC (1962), Bell Labs, Mathews : Vidéo 1:48; HAL 9000 sings Daisy Bell, 2001 Odyssée de l’espace, Kubrick, 1968 : Vidéo 1:14

B. Langages artificiels, architectures

  • Calculateur analogique : Lien, Lien HOC
  • Entropie (thermodynamique) : Lien, Vidéo 10:05
  • Director (military) : Lien; Fire-control system : Lien
  • Machine de Turing (1936), Turing : Lien, Vidéo 7:30
  • Logique des fluides (1936), Vladimir Lukyanov : Lien
  • General Purpose Analog Computer (1941), Shannon, théorie du calculateur analogique : Lien
  • Néguentropie (1944), Schrödinger : Lien
  • Architecture de type Harvard (1944) : Lien
  • Architecture de Von Neumann (1945) : Lien
  • Plankalkül (1942-1945) : Lien
  • Langage machine : Lien
  • Assembleur (1947-), Booth : Lien
  • Cathode-ray tube amusement device (1947), jeu électronique : Lien
  • Turochamp, Turing (1948) : Lien
  • Entropie de Shannon (1948) : Lien, Vidéo 16:03
  • Cybernétique (1948) : Lien, Vidéo 5:16
  • Automate fini : Lien, Vidéo 8:27
  • Berthie the Brain (1950), jeu de tic-tac-toe, Canada : Lien
  • Shannon switching game (1951) : Lien
  • Jeu Hex (1951), Shannon, Edward F. Moore : Lien
  • A-0 System (1951), Hopper : Lien
  • Speedcoding (1953), langage sur IBM 701, Backus : Lien
  • Réseau de neurones artificiels (1954), Farley, Clark : Lien
  • Information Processing Language (1956-1966), sur JOHNNIAC et IBM, RAND corporation, Newell, Simon, Shaw : Lien
  • Logic Theorist (1956), JOHNNIAC, Newell, Simon, Shaw : Lien
  • Intelligence artificielle (1956-) : Lien
  • Fortran (1957-), langage de haut niveau, Backus : Lien, Vidéo 12:55
  • Lisp (1958-), langage de haut niveau, McCarthy : Lien
  • Loi de Moore (1965) : Lien

C. Quelques unes des personnalités citées

  • Vannevar Bush (1890-1974) : Lien
  • Norbert Wiener (1894-1964), cybernétique : Lien, HOC
  • Warren Weaver (1894-1978) : Lien,
  • Warren McCulloch (1898-1969) : Lien
  • Howard Aiken (1900-1973), Harvard Mark series : Lien
  • Vladimir Lukyanov (1902-1980), intégrateur hydraulique : Lien
  • Louis Couffignal (1902-1966) : Lien
  • Alec Reeves (1902-1971), PCM : Lien
  • John von Neumann (1903-1957) : Lien, Vidéo 56:43
  • John Vincent Atanasoff (1903-1995), calculateurs : Lien
  • Gregory Bateson (1904-1980) : Lien
  • George Stibitz (1904-1995), Bell Laboratories machines : Lien, Vidéo 7:59
  • Tommy Flowers (1905-1998) : Lien
  • Grace Hopper (1906-1992) : Lien
  • John William Mauchly (1907-1980), ENIAC, EMCC : Lien
  • Victor Shestakov (1907-1987) : Lien
  • Conny Palm (1907-1951) : Lien
  • Stephen Cole Kleene (1909-1994), Théorie des automates : Lien
  • William Grey Walter (1910-1977) : Lien
  • Konrad Zuse (1910-1995), Zuse KG, Plankalkül : Lien, HOC
  • John Robinson Pierce (1910-2002), PCM, informatique musicale, transistor … : Lien
  • Frederic Calland Williams (1911-1977) : Lien
  • Alan Turing (1912-1954) : Lien, HOC
  • Julian Bigelow (1913-2003), Machine IAS, Macy, Dartmouth : Lien
  • Herman Goldstine (1913-2004) : Lien
  • François-Henri Raymond (1914-2000) : Lien
  • Claude Shannon (1916-2001) : Lien, Vidéo 4:14, Vidéo 8:23, Vidéo 29:31
  • Herbert Simon (1916-2001) : Lien
  • Andrew Donald Booth (1918-2009) : Lien
  • Floyd Steele (1918-1995) : Lien
  • Jay Wright Forrester (1918-2016), Whirlwind, mémoire à torres magnétiques : Lien
  • Bashir Rameev (1918-1994), Strela : Lien
  • John Eckert (1919-1995), ENIAC, EMCC : Lien
  • Nathaniel Rochester (1919-2001), IBM : Lien
  • Albert Ducrocq (1921-1987) : Lien, Vidéo 10:27
  • Kathleen Booth (1922-), assembleur : Lien
  • John Backus (1924-2007), FORTRAN, IBM : Lien
  • Max Mathews (1926-2011), informatique musicale : Lien, Vidéo 6:56
  • Allen Newell (1927-1992), RAND Corporation : Lien, Vidéo 16:33
  • John McCarthy (1927-2011), mathématiques appliquées : Lien, Vidéo 27:31
  • Marvin Minsky (1927-2016), intelligence artificielle : Lien, Vidéo 30:35

D. Artefacts dédiés au contrôle ou au calcul

Des machines ou bien des composantes de machines agencées en architectures et mues par des langages contribuent à l’émergence des calculateurs de première génération.

d.1 Calculateurs généraux et appliqués

  • Abaque, boulier, arithmétique : Vidéo 10:33
  • Clepsydre de Ctésibios : Lien, Vidéo 0:11
  • Machine d’Anticythère (87 av. J.-C.), calculateur analogique, astronomie : Lien, Vidéo 7:51
  • Régulateur à boule (1764), James Watt, machine à vapeur : Lien
  • Arithmomètre (1820) : Lien
  • Servo-moteur (1859), Joseph Farcot : Lien
  • Machine à prévoir les marées (1873-1970), Lord Kelvin (William Thomson), navigation en mer : Lien
  • Analyseur différentiel (1876), James Thomson : Lien
  • Tabulatrice (1890), Herman Hollerith : Lien
  • Telautomaton (1898), Nikola Tesla, télécommande, bateau : Lien
  • Telekine (1903), Torres Quevedo, télécommande, bateau : Lien
  • Machines joueuses d’échecs, El Ajedrecista (1914, 1920), Torres Quevedo : Lien, HOC, Vidéo 0:25
  • Arithmomètre électromécanique (1920), Torres Quevedo : Lien
  • Enigma (1923-1945), téléscripteur cryptographique : Lien, Vidéo 3:45
  • Analyseur différentiel de Bush (1927-1944), calculateur général analogique : Lien, Vidéo 2:59
  • Calculateur Mallock (1933), Cambride, UK : Lien
  • IBM 405 (1934-1949), calculateur mécanographique : Lien
  • Z1 (1935-1938), Zuse : Lien
  • Intégrateur à eau (1936), Vladimir Lukyanov, calculateur : Lien
  • Mémoire à tambour (1936), Tauschek, Engineering Research Associates, IBM, mémoire de masse : Lien
  • Model K (1937), Stibitz : Lien, HOC, Vidéo 7:59
  • Bombe cryptologique (1939-1945), UK, US, calculateur de cryptanalyse : Lien, Vidéo 6:14
  • Vocodeur, The Voder (1939), télétransmission, synthèse vocale : Lien, Vidéo 6:17
  • Torpedo Data Computer (1940), marine de guerre : Lien
  • Calculatrice électromécanique Bull C3 (1940), calculateur mécanographique : Lien
  • Machine de Lorentz (1940-1945), calculateur cryptologique : Lien
  • Mark 8 Fire Control Computer (1944), lutte antiaérienne : Lien
  • SIGSALY (1943 – 1946) : Lien, Lien, Vidéo 9:01
  • MADDIDA (1946), Northrop Corp., analyseur différentiel, Floyd Steele : Lien
  • IBM 604 (1948), calculateur mécanographique : Lien
  • MONIAC (1949), Phillips, New Zealand, économie : Lien, Vidéo 4:36
  • Machine joueuse d’échec (1950), Shannon : Lien
  • Thésée, La souris électrique (1951, 1952), Shannon : Lien, Lien, Vidéo 7:23
  • SNARC, le résolveur de labyrinthe (1951), Minsky : Lien, Vidéo 2:09
  • Machine inutile (1952), Minsky, Shannon : Lien
  • Mémoire à tores magnétiques (1955-1975), mémoire vive, Wang, Forrester, MIT, IBM, Sperry Rand UNIVAC : Lien, Vidéo 3:04

D.2 Calculateurs électroniques de première génération

  • Atanasoff-Berry computer (1937-1942), Atanasoff : Lien, HOC, Vidéo 5:39
  • Z3 (1941-1943), Zuse : Lien, Vidéo 5:11
  • Rockefeller Differential Analyzer (RDA) (1942-1954), MIT, Bush : Lien
  • Colossus (1943-1945), UK : Lien, Vidéo 5:32
  • Harvard Mark I (1944-1948), Aiken, Harvard : Lien, HOC, Vidéo 2:26
  • Machine IAS (1945-1951), Princeton, Von Neumann, Bigelow, Goldstine : Lien
  • ENIAC (1945-1955), Eckert, Mauchly : Lien, Vidéo 2:15
  • Model V (1946-1947), Stibitz : Lien, Lien
  • Z4 (computer) (1947), Zuse : Lien, Vidéo 2:50
  • Harvard Mark II (1947), Aiken : Lien, Vidéo 3:55 CHM
  • Small-Scale Experimental Machine, « Baby computer », (1948), Williams, Killburn, Tootill, UK : Lien,
  • EDSAC (1949), Cambridge, Wilkes, UK : Lien
  • Manchester Mark I (1949), Williams, Killburn, UK : Lien
  • Whirlwind I (1949-1980), Forrester, MIT, US Navy : Lien, Vidéo 1:21
  • BINAC (1949), Northrop Corp., Eckert, Mauchly : Lien, Vidéo 12:35
  • EDVAC (1949), Eckert, Mauchly, Neumann : Lien
  • CSIRAC, CSIR Mk 1 (1949), Pearcey, Beard, Australia : Lien
  • Model VI (1949), Bell Labs : Lien
  • BARK (computer) (1950), Conny Palm, Suède : Lien
  • TRE Automatic Computer (TREAC) (1950), A. Uttley, R. H. A. Carter, UK : Lien
  • SEAC (1950-1960), Alexander, U.S. National Bureau of Standards : Lien
  • SWAC (1950-1967), Huskey, U.S. National Bureau of Standards, UCLA : Lien
  • ERMA (Electronic Recording Machine, Accounting) (développé de 1950 à 1955), Stanford Research Institute, Noe, Banque : Lien
  • UTEC (1951), University of Toronto : Lien
  • UNIVAC I (1951), Eckert, Mauchly, premier ordinateur commercial officiel ?, United States Census Bureau : Lien
  • Ferranti Mark 1 (1951), F.C. Williams, T. Kilburn, UK : Lien
  • LEO I (1951), Standingford, Thompson, Caminer, J. Lyons and Co., UK : Lien
  • Hollerith Electronic Computer (HEC) (1951), A. Booth, Birkbeck College, UK : Lien
  • UNIVAC 1101 (1951), Eckert, Mauchly : Lien
  • ILLIAC series (1951-1974), Univ. of Illinois : Lien
  • UNIVAC 1100/2200 series (1951-), Sperry Univac, Remington Rand : Lien
  • Memory Test Computer (1952), MIT, IBM, test de la mémoire à tores magnétiques
  • ORDVAC (1952), Univ. Illinois : Lien
  • ILLIAC I (1952), Univ. Illinois : Lien
  • MANIAC I (1952), Los Alamos Nat. Lab., Von Neumann, Metropolis : Lien
  • Automatic message accounting (1952), Bell System : Lien
  • All Purpose Electronic (X) Computer (1952), Booth, UK : Lien
  • IBM 701 (1952), Rochester : Lien
  • Bull, série Gamma 3 (1952-1960) : Lien 1, Lien 2
  • AVIDAC (1953), Von Neumann, Chicago : Lien
  • ORACLE (1953), Von Neumann, Tennesse : Lien
  • BESK (1953), Suède : Lien
  • SILLIAC (1953), Australia : Lien
  • Série IBM 700/7000 (1953) : Lien
  • Automatic Computing Engine (1953), Turing, UK : Lien, Vidéo 10:26
  • JOHNNIAC (1953), Princeton : (1953-1966), RAND Corporation, Langage IPL : Lien
  • Strela Computer series (1953), USSR : Lien
  • IBM 650 (1954), le mot ordinateur est créé : Lien
  • Bull, Gamma ET (1954), nom commercial ordonnateur : Lien
  • IBM 702 (1954) : Lien
  • IBM 704 (1954) : Lien, Vidéo 4:22
  • TRADIC (1954), Bell Labs, premier calculateur à transistors ? : Lien
  • AN/FSQ-7 (1956), IBM, USAF : Lien

E. Publications, brevets et rapports

  • Whitehead, 1898, A treatise on Universal Algebra with Applications, Lien
  • Whitehead, Russell, 1910-1913, Principia Mathematica, Lien
  • Couturat, 1914, The Algebra of Logic, Lien, L’Algèbre de la Logique, 1905
  • Torres Quevedos, 1915, Essais sur l’automatique. Sa définition, Étendue théorique de ses applications, Revue générale des Sciences, Lien
  • Turing, 1936, On Computable Numbers, with an Application to the Entscheidungsproblem, PLMS, Lien
  • Shannon, 1937, Master thesis, 1938, A Symbolic Analysis of Relay and Switching Circuits, TAIEE, Lien, Lien, Lien
  • Shannon, 1936-1940, Ph.D. thesis, An algebra for theoretical genetics, Lien
  • Dudley, 1940, The Carrier Nature of Speech, Bell System Technical Journal, 29 (4), 495-514 : Lien
  • Shannon, 1941, Mathematical theory of the differential analyzer, Lien
  • Schrödinger, 1944, What is life ? : Lien
  • Von Neumann, Morgenstern, 1944, Theory of Games and Economy : Lien (résumé)
  • Shannon, 1945, A Mathematical Theory of Cryptography : Lien
  • Shannon, 1948, A Mathematical Theory of Communication, Bell System Technical Journal, Vol. 27 (July and October), pp. 379-423 and 623-656, Lien
  • Oliver B. M., Pierce J. R., Shannon, 1948, The Philosophy of PCM, Lien
  • Wiener, 1948, Cybernetics: Or Control and Communication in the Animal and the Machine, Lien
  • Dubarle, 1948, Vers la machine à gouverner…, Le Monde
  • Shannon, Weaver, 1949, The Mathematical Theory of Communication : Lien
  • Shannon, 1949, Communication in the Presence of Noise, Proceedings of the IRE : Lien
  • Shannon, 1949, Communication Theory of Secrecy Systems, Bell System Technical Journal, 28 (4): 656–715 : Lien
  • Weaver, 1949, memorandum on Translation, Lien
  • Turing, 1950, Computing machinery and intelligence, MindLIX (236): 433–460 : Lien
  • Shannon, 1950, Programming a Computer for Playing Chess, : Lien, Lien
  • Miller, 1951, Language and Communication : Lien
  • Bateson, Ruech, 1951, Communication et Société : Lien
  • Nash, 1952, Some Games and Machines Playing them, RAND corporation : Lien
  • Brillouin, 1953, Naissance de la théorie de l’information : Lien
  • Shannon, 1953, Computers and Automata, Proceedings of the IRE, 41 (10) : Lien
  • Backus, 1954, The IBM 701 Speedcoding System, Journal of the ACM; 1 (1) : Lien
  • Minsky, 1954, Ph.D. thesis, Neural Nets and the Brain Model Problem
  • Farley, Clark, 1954, Simulation of self-organizing systems by digital computer, Transactions of the IRE Professional Group on Information Theory, 4 (4)
  • McCarthy, Minsky, Rochester, Shannon, 1955, A proposal for the Dartmouth Research Project on Artificial Intelligence. Éditeur Solomonoff : Lien;
    Éditeur McCarthy : Lien
  • Shannon, McCarthy, 1956, Automata Studies, Annals of Mathematics Studies, Vol. 34 : Lien
  • Shannon, 1956, A Universal Turing Machine with Two Internal States, Automata Studies, Annals of Mathematics Studies, Vol. 34, p157
  • Shannon, 1956, The Bandwagon, IRE Transactions : Lien
  • Chomsky, 1956, Three models for the description of language, IRE Transactions on Information Theory (2): 113–124 : Lien
  • Stibitz, 1967, The relay computers at Bell Labs : those were the machines, parts 1 and 2, Computer History Museum : Lien
  • Shannon, Price, 1984, A conversation with Claude Shannon, IEEE Communications Magazine, Lien, Enregistrement audio et transcription de l’interview de 1982 : Lien
  • Mounier-Kuhn, 1989, The lnstitut Blaise-Pascal (1946-1969) from Couffignal’s Machine to Artificial Intelligence, Annals Hist Comput, 11:257-261
  • Mounier-Kuhn, 1990, Genèse de l’informatique en France (1945-1965), Culture Technique, 21, 35-46 : Lien
  • Sloane, Wyner, 1993, Claude Elwood Shannon Collected Papers : Lien
  • Perrin, 1993, Les Débuts de la Théorie des Automates : Lien
  • McCarthy, 1996, LISP prehistory – Summer 1956 through Summer 1958 : Lien
  • Sloane, Biography of Claude Elwood Shannon : Lien
  • Sloane, Bibliography of Claude Elwood Shannon : Lien
  • Copeland, 2000, What is Artificial Intelligence ? : Lien
  • Irvine, 2001, Early digital computers at Bell Telephone Laboratories, IEEE Annals of the History of Computing : Lien, Lien
  • Léon, 2002, Le CNRS et les débuts de la traduction automatique en France, La Revue pour l’Histoire du CNRS : Lien
  • Hutchins, 2006, The first public demonstration of machine translation : the Georgetown-IBM system, 7th January 1954 : Lien, Communiqué IBM : Lien
  • Mounier-Kuhn, 2010, L’informatique en France, L’émergence d’une science : Lien
  • Gleick, 2015, L’information; une histoire, une théorie, un déluge : Lien
  • Rochain, 2016, De la mécanographie à l’informatique: 50 ans d’évolution : Lien
  • Horgan, 2016, Claude Shannon: Tinkerer, Prankster, and Father of Information Theory : Lien

F. Évènements, institutions, sociétés savantes et entreprises

  • J. Lyons and Co. (1894) : Lien
  • Elliott Brothers (1804) : Lien
  • IBM (1911-) : Lien
  • Fondation Rockefeller (1913-) : Lien
  • Laboratoires Bell (1925-) : Lien
  • Remington Rand (1927-1955) : Lien
  • Institute for advanced studies (1930-) : Lien
  • Entreprise Bull (1930-) : Lien
  • Conférence Macy (1942-1953) : Lien
  • Zuse KG (1945-1971) : Lien
  • Research Laboratory of Electronics, MIT (1946-) : Lien
  • Eckert–Mauchly Computer Corporation (EMCC) (1946-1950), : Lien
  • Engineering Research Associates (ERA) (1946-1952), mémoire à tambour : Lien
  • RAND Corporation (1948-), recherche militaire, conseil stratégique : Lien
  • Société d’Electronique et d’Automatisme (1948-1966) : Lien
  • Ratio Club (1949-1958) : Lien
  • École de Palo Alto (1952-1956) : Lien
  • RNA Tie Club (1954) : Lien, Vidéo 3:04
  • Information Theory Society (1955-) : Lien
  • Conférence de Dartmouth (1956) : Lien
  • Prix Claude Shannon (1972-) : Lien
  • AI@50, le cinquantenaire (2006) : Lien

G. Le centenaire de la naissance de Shannon

  • Bell labs, Claude E. Shannon, A goliath among giants, Lien
  • ITSOC, Shannon Centenary, IEEE, Information Theory Society : Lien
  • CNRS, Claude Shannon : le monde en binaire : Lien
  • CIRM, Hommage à Claude Shannon : Lien
  • Colloque Shannon 100 IHP, 2016, Vidéos YouTube : Lien

Révisé en 2018, 2019

4 commentaires

Répondre

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion /  Changer )

Photo Google

Vous commentez à l'aide de votre compte Google. Déconnexion /  Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s