Articles tagués Claude Shannon

La Théorie de l’Information de Claude Shannon

“Je sais que j’ai été compris lorsqu’on m’a répondu” Claude Shannon

Publié en 1948, l’article “A Mathematical Theory of Communication” de Claude Shannon propose de modéliser certains des concepts clés de l’information et de la communication. Nous sommes à l’issue de la seconde guerre mondiale. Le radar a prouvé son utilité. Enigma, la machine électromécanique dédiée au chiffrement et déchiffrement des informations militaires est résolue. Alors que des médias et moyens de communication tels que la radio, la télévision, le téléphone rencontrent un vif succès, les travaux de Shannon et de quelques autres mathématiciens vont conduire à la mise au point des premiers ordinateurs. Mais la théorie de Shannon s’avère remarquablement générale et multiforme. Elle va notablement influencer des disciplines qui restent à être inventées telles que la robotique, l’intelligence artificielle ou bien la biologie moléculaire et contribuer significativement à l’amélioration des méthodes d’échange de l’information. Ce billet propose en commémoration du centenaire de la naissance du théoricien une courte biographie, une traduction de l’introduction de l’article ainsi que quelques idées générales sur l’information.

Claude Shannon (1916-2001)

shannon

Après un double “Bachelor of Science” en mathématiques et en génie électrique, Shannon est embauché à temps partiel en 1936 en tant que chercheur assistant au département de génie électrique du MIT (Massachusetts Institute of Technology) sous la direction de Vanevar Bush. Shannon manipule “l’analyseur différentiel” qui était le calculateur analogique le plus avancé de l’époque, capable de résoudre des équations différentielles du sixième degré. Son mémoire de master soutenu en 1938 “A Symbolic Analysis of Relay and Switching Circuits” montre que des arrangements de relais permettent de résoudre des problèmes d’algèbre booléenne, autrement dit que des machines électriques peuvent faire des opérations logiques, ouvrant la voie à la création de calculateurs d’une nouvelle génération. Shannon obtient simultanément en 1940 un master de science en Génie électrique et un doctorat (PhD) en Mathématiques sur un sujet de Génétique des populations “An Algebra for Theoretical Genetics”. Un modèle de notation susceptible de trouver des applications en génétique et dynamique des populations est proposé, tenant compte des phénomènes (reproduction, mutation) qui se produisent lors du cycle de vie.

En 1940, Shannon devient membre de l’“Institute for Advanced Study” à Princeton et croise occasionnellement en ces lieux des scientifiques de renom tels que Weyl, Von Neumann, Einstein et le logicien Gödel. Au début de la guerre, il travaille aux laboratoires Bell réputés au niveau mondial pour leurs recherches dans le domaine des télécommunications. C’est pour lui l’occasion en 1943 de prendre le thé avec le mathématicien et cryptographe Turing détaché pour quelques mois de Bletchley Park. Turing théorise depuis 1936 une machine à calculer universelle et met au point des machines électromécaniques dédiées à la cryptanalyse. Dès 1945, une publication longtemps classée de Shannon “A Mathematical Theory of Cryptography” est remarquée des spécialistes. En 1948, les laboratoires Bell nomment “transistor” leur dernière invention destinée à remplacer les relais dans les circuits logiques. La même année, Norbert Wiener, professeur de mathématique au MIT publie “Cybernetics: Or Control and Communication in the Animal and the Machine”, en collaboration avec Shannon pour le très mathématique chapitre 6. En juillet de la même année, Shannon publie la première partie de l’article : “A Mathematical Theory of Communication” dans la revue Bell System Technical Journal. La deuxième partie parait en octobre.

Une théorie de la transmission de l’information est proposée. Inspirée de la théorie de la cryptographie, elle vise à optimiser les systèmes de transmission ainsi que le fonctionnement des calculateurs. Il s’agit d’améliorer l’efficacité des communications, d’optimiser la quantité d’information transmise dans des canaux dont la capacité est limitée et qui génèrent du bruit. Parmi ses aspects novateurs, l’article définit dès l’introduction le bit (binary digit ou chiffre binaire, bit signifie encore « peu » ou bien « morceau » en anglais). Le bit est l’unité élémentaire et atomique de l’information. Sa définition relève de la logique. Shannon propose ensuite un modèle qui rend compte de la transmission de l’information quelque soit son type : information discrète (numérique), continue (analogique) ou bien mixte (numérique et analogique). Le cas de l’information discrète avec et sans bruit est développé dans la première partie, aboutissant à la démonstration de multiples théorèmes illustrés d’exemples.

Le calcul de l’entropie de l’information est ensuite proposé. Cet indicateur permet de caractériser de manière statistique la quantité maximale d’information qu’un canal peut transmettre. La formulation retenue – une fonction pondérée du logarithme en base 2 de la probabilité de réception d’un signal – répond à la même équation que l’entropie de Boltzman, une grandeur établie dans le contexte de la thermodynamique. Une même formule mathématique permet de décrire la dissipation de l’énergie dans un système et la transmission de l’information dans un canal. De manière simplifiée et quelque peu intuitive, l’entropie caractérise plusieurs choses : le niveau de “désordre” d’un système, le niveau de variation potentielle des signaux constitutifs d’un message, l’hétérogénéité d’un signal, les choix possibles constitutifs d’un message. Elle mesure encore l’incertitude moyenne de réception d’un signal. Plus l’entropie d’un signal discret est élevée, plus la quantité d’information susceptible d’être transmise de manière concise est importante. L’entropie de l’information est formulée en bits.

Le caractère multidisciplinaire de l’information et de la communication inspire alors de nombreux scientifiques de différentes spécialités. Shannon devient reconnu comme le fondateur de la “Théorie de l’Information”. Il assiste en 1950, 1951 et 1953 aux conférences de la fondation Macy dans lesquelles sont discutées la cybernétique, une théorie multidisciplinaire de l’information et de l’action. Ces événements réunissent des scientifiques américains autour de personnalités comme Wiener et Von Neumann. On y discute de modèles et de processus de décision qui concernent aussi bien les machines à calculer, que la neurophysiologie ou la psychologie. Wiener développe les concepts de “boîte noire”, d’action et de “feedback » ou rétroaction. Ce mouvement de pensée dont l’intérêt relève de l’histoire des sciences influencera notablement les scientifiques de cette époque, accompagnant une réflexion multidisciplinaire.

shannon-bit

Un doigt levé ou baissé, un interrupteur ouvert ou fermé, une pièce positionnée coté pile ou face, constituent des exemples simples d’unité atomique de l’information et nommé bit ou binary-digit (signal binaire) par Shannon et JW Tukey.

A Mathematical Theory of Communication” est publié dans “The Bell System Technical Journal” en juillet et octobre 1948. Le même article préfacé par Weaver est édité sous forme de livre en 1949 et intitulé “The Mathematical Theory of Communication”. Une traduction de l’introduction de l’article de juillet 1948 est ici proposée suivi du plan de l’article traduit également. Une discussion conclue ce billet.


A Mathematical Theory of Communication” : Traduction de l’introduction

Le récent développement de diverses méthodes de modulation telles que la PCM (modulation d’impulsion codée) et la PPM (modulation en position d’impulsions) qui échangent de la bande passante contre du rapport signal-bruit a intensifié l’intérêt d’une théorie générale de la communication. Une base d’une telle théorie se trouve dans les articles importants de Nyquist et Hartley à ce sujet. Dans le présent article, nous étendrons la théorie pour inclure un certain nombre de nouveaux facteurs, en particulier l’effet du bruit dans le canal, et les économies possibles dues à la structure statistique du message original et dues à la nature de la destination finale de l’information.

Le problème fondamental de la communication est celui de reproduire en un point, soit exactement soit approximativement un message sélectionné à un autre point. Fréquemment, les messages ont une signification; c’est à dire qu’ils se réfèrent à ou sont corrélées avec certains systèmes, avec certaines entités physiques ou conceptuelles. Ces aspects sémantiques de la communication ne relèvent pas du problème de l’ingénierie. L’aspect important est que le message réel est un élément choisi parmi un ensemble de messages possibles. Le système doit être conçu pour fonctionner pour chaque sélection possible, pas seulement celle qui sera effectivement choisie car celle ci est inconnue au moment de l’envoi.

Si le nombre de message dans l’ensemble est fini alors ce nombre ou toute fonction monotone de ce nombre peut être considéré comme une mesure de l’information produite quand un message est choisi parmi un ensemble, tous les choix étant équiprobables. Comme l’a souligné Hartley le choix le plus naturel est la fonction logarithmique. Bien que cette définition doive-t-être généralisée considérablement lorsque l’on considère l’influence des statistiques du message et lorsque nous avons une gamme continue de messages, nous allons utiliser dans tous les cas une mesure essentiellement logarithmique.

La mesure logarithmique est plus commode pour diverses raisons:

  1. Elle est plus utile de manière pratique. Des paramètres d’importance en ingénierie tels que le temps, la bande passante, le nombre de relais, etc., ont tendance à varier linéairement avec le logarithme du nombre de possibilités. Par exemple, l’ajout d’un relais à un groupe double le nombre d’états possibles des relais. On ajoute 1 au logarithme en base 2 de ce chiffre. Un doublement du temps multiplie au carré le nombre des messages possibles, ou double le logarithme, etc.
  2. Elle est plus proche de notre sens intuitif que de la mesure elle-même. C’est étroitement liée à (1) puisque nous mesurons intuitivement les entités en comparaison linéaire avec les standards communs. On ressent, par exemple, que deux cartes perforées doivent avoir deux fois la capacité d’une seule pour le stockage de l’information, et deux canaux identiques deux fois la capacité d’un seul pour transmettre l’information.
  3. Elle est mathématiquement plus appropriée. Un grand nombre d’opérations critiques sont simples en termes de logarithme mais exigeraient autrement un retraitement maladroit en terme de nombre de possibilités.

Le choix d’une base logarithmique correspond au choix d’une unité de mesure de l’information. Si la base 2 est employée, les unités qui en résultent peuvent être appelées digits binaires, ou plus brièvement bits [binary digits], un mot suggéré par JW Tukey. Un dispositif à deux positions stables, comme un relais ou un circuit à bascule, peut stocker un bit d’information. Un nombre N de tels dispositifs peut stocker N bits, puisque le nombre total d’états possibles est 2N et log22N = N. Si la base 10 est utilisée, les unités peuvent être appelées chiffres décimaux. Puisque

log2 M = log10 M / log10 2 = 3.32 log10 M,

un chiffre décimal correspond approximativement à 3 ⅓ bits. Une roue à chiffres sur une machine à calculer de bureau a dix positions stables a donc une capacité de stockage d’un chiffre décimal. Dans les travaux analytiques dans lesquels l’intégration et le calcul différentiel sont impliqués, la base e est parfois utile. Les unités d’information résultantes seront appelées unités naturelles. Un changement de la base a en base b exige simplement une multiplication par logb a.

Par un système de communication, nous entendrons un système du type de celui indiqué schématiquement dans la Fig. 1. Il est constitué essentiellement de 5 parties:

  1. Une source d’information qui produit un message ou une suite de messages destinés à être communiqués au terminal récepteur. Le message peut être de différents types: par exemple (a) Une séquence de lettres comme dans un système de type télégraphe ou télétype; (b) Une simple fonction du temps f(t) comme dans la radio ou la téléphonie; (c) Une fonction du temps et d’autres variables comme avec la télévision noir et blanc – ici le message peut être pensé comme une fonction f(x;y;t) de deux coordonnées spatiales et du temps, l’intensité lumineuse au point (x;y) et au temps t sur la plaque du tube de récupération; (d) Deux ou plusieurs fonctions du temps, disons f(t), g(t), h(t) – c’est le cas dans le système de transmission du son en trois dimensions ou si le système est destiné à desservir plusieurs canaux individuels en multiplex. (e) plusieurs fonctions de plusieurs variables – avec la télévision couleur, le message consiste en trois fonctions f(x,y,t), g(x,y,t), h(x,y,t) définies dans un continuum tridimensionnel – nous pouvons aussi penser à ces trois fonctions comme des composantes d’un champs vecteur défini dans la région – de même, plusieurs sources de télévision en noir et blanc produiraient des « messages » constitués d’un certain nombre de fonctions de trois variables; (f) Diverses combinaisons se produisent également, par exemple pour la télévision avec une voie audio associée.
  2. Un émetteur qui intervient sur le message de manière quelconque pour produire un signal approprié à la transmission sur le canal. Dans la téléphonie cette opération consiste simplement à changer la pression sonore en un courant électrique proportionnel. Dans la télégraphie nous avons une opération d’encodage qui produit une séquence de points, de tirets et d’espaces sur le canal correspondant au message. Dans un système de multiplex PCM les différentes fonctions de la parole doivent être échantillonnées, comprimées, quantifiées et encodées, et finalement entrelacées convenablement pour construire le signal. Systèmes Vocoder, télévision et modulation de fréquence sont d’autres exemples d’opérations complexes appliquées au message pour obtenir le signal.
  3. Le canal est simplement le moyen utilisé pour transmettre le signal de l’émetteur au récepteur. Cela peut être une paire de fils, un câble coaxial, une bande de fréquences radio, un faisceau de lumière, etc.
  4. Le récepteur effectue habituellement l’opération inverse de celle effectuée par l’émetteur, reconstruisant le message à partir du signal.
  5. La destination est la personne (ou une chose) à laquelle le message est destiné.

shannon-modelNous souhaitons considérer certains problèmes généraux impliquant des systèmes de communication. Pour ce faire, il est d’abord nécessaire de représenter les différents éléments impliqués comme des entités mathématiques, convenablement idéalisées à partir de leurs équivalents physiques. Nous pouvons grossièrement classer les systèmes de communication en trois catégories principales : discret, continu et mixte. Par un système discret, nous entendons celui dans lequel le message et le signal à la fois sont une séquence de symboles discrets. Un cas typique est la télégraphie dans lequel le message est une séquence de lettres et le signal une séquence de points, de tirets et d’espaces. Un système continu est celui dans lequel le message et le signal sont tous deux traités comme des fonctions continues, par exemple, avec la radio ou la télévision. Un système mixte est celui dans lequel des variables discrètes et continues apparaissent, par exemple, la transmission de la parole en PCM.

Nous considérons d’abord le cas discret. Ce cas présente des applications non seulement dans la théorie de la communication, mais aussi dans la théorie des calculateurs, dans la conception des échanges téléphoniques et dans d’autres domaines. De plus, le cas discret constitue une base pour les cas continus et mixtes qui seront traités dans la seconde moitié du papier.

[…]


A Mathematical Theory of Communication” : le plan

Introduction, p379, fig. 1

Partie I : Systèmes discrets sans bruit
  1. Le canal discret sans bruit, p382, théorème 1, fig. 2
  2. La source discrète d’information, p384
  3. Des séries d’approximations de l’anglais, p388
  4. Représentation graphique d’un processus de Markoff, p389
  5. Sources ergodiques et mixtes, p390, fig. 3, 4, 5
  6. Choix, incertitude et entropie, p392, fig. 6, théorème 2, fig. 7
  7. L’entropie d’une source d’information, p396, théorème 3, théorème 4, théorème 5, théorème 6
  8. Représentation des opérations d’encodage et de décodage, p399, théorème 7, théorème 8
  9. Le théorème fondamental pour un canal sans bruit, p401, théorème 9
  10. Discussion, p403
  11. Exemples, p404
Partie II : Le canal discret avec bruit
  1. Représentation d’un canal discret avec bruit, p406
  2. Équivoque et capacité d’un canal, p407, théorème 10, fig. 8
  3. Le théorème fondamental pour un canal discret avec bruit, p410, théorème 11, fig. 9, fig. 10
  4. Discussion, p413
  5. Exemple d’un canal discret et de sa capacité, p415, fig. 11
  6. La capacité du canal dans certains cas spéciaux, p416, fig. 12
  7. Un exemple d’encodage efficace, p418
Appendice 1 : La croissance du nombre de blocs de symboles en condition d’état fini, p418
Appendice 2 : Dérivation de H, p419
Appendice 3 : Théorèmes sur les sources ergodiques, p420
Appendice 4 : Maximisation de la fréquence dans un système avec contraintes, p421

(à suivre)

Partie III : Préliminaires mathématiques, p623

18. Groupes et ensembles de fonctions, p623
19. Ensembles de fonctions limitées par la bande, p627
20. Entropie d’une distribution continue, p628
21. Perte d’entropie dans les filtres linéaires, p633, tableau 1
22. Entropie de la somme de deux ensembles, p635

Partie IV : Le canal continu, p637

23. La capacité d’un canal continu, p637
24. La capacité d’un canal avec une limitation de puissance moyenne, p639
25. La capacité du canal avec un pic de limitation de puissance, p642

Partie V : La fréquence pour une source continue, p646

26. Fidélité des fonctions d’évaluation, p646
27. La fréquence de la source en fonction d’une évaluation de la fidélité, p649
28. Le calcul des fréquences, p650

Remerciements, p652
Appendice 5, p652
Appendice 6, p653
Appendice 7, p655

A Mathematical Theory of Communication” : Figure 7

shannon-entropy

Dans le cas d’un signal binaire sans bruit, l’entropie présente plusieurs propriétés intéressantes qui justifient son calcul d’après Shannon. L’entropie représente la richesse en information d’un message. Soit un message constitué d’une suite de 0 et de 1, c’est lorsque la fréquence des 0 est statistiquement égale à celle des 1 que l’entropie et la quantité d’information susceptible d’être transmise sont maximales. Si un message ne contient que des 0 ou que des 1, son entropie est nulle et il ne transmet aucune information. Par analogie, la colonne d’une table de données qui contiendrait toujours la même information n’apporterait aucune information et serait inutile. Le calcul de l’entropie peut être étendu à des systèmes comportant un plus grand nombre de valeurs discrètes comme dans le cas du morse, de l’alphabet, de l’ADN ou de l’ARN par exemple.

A Mathematical Theory of Communication” : Figure 8

shannon-correction

En présence de bruit, Shannon envisage la présence d’un observateur susceptible de corriger les données transmises de manière incorrecte. De manière pratique, sur les réseaux téléphoniques, la voie reste compréhensible en présence de bruit. Sur Internet par exemple, il est possible de s’assures de l’intégrité des données transmises en calculant la somme de contrôle du fichier réceptionné et en la comparant avec celle d’origine, effectuant ainsi une sorte d’auto-rétroaction.

Discussion, commentaires et élucubrations

L’approche de Shannon pour modéliser l’information intrigue au premier abord. Il ne s’intéresse pas au sens de l’information mais il en modélise uniquement les aspects physiques, logiques, mathématiques et statistiques. Le dispositif technique proposé est simple. L’émetteur émet un signal qu’il encode. Un canal de capacité limitée transmet le signal de manière bruitée. Le récepteur reçoit le signal et décode. Shannon s’intéresse ensuite aux aspects statistiques de l’écriture en alphabet latin. La théorie de la communication (titre de l’article) est en fait une théorie de la transmission de l’information en général, appliquée à la télécommunication dans ses aspects Physique statistique.

Mais qu’est ce que l’information au sens commun? Une analogie est souvent faite entre l’information et la matière fluide, voire gazeuse. On parle ainsi de source d’information, de canal, de flux, de lacs de données et de torrents de bits. L’amélioration du débit internet rend possible l’apparition de l’informatique en nuage. Ces plaisantes métaphores font référence à la nature dynamique de l’information. Mais en fait l’information ne relève pas de la mécanique des fluides, elle est matérielle car elle nécessite un support pour exister. Cependant, plusieurs supports peuvent contenir la même information; des canaux de différentes natures peuvent la transmettre. Shannon cite en exemple de support la carte perforée et en exemple de canal une paire de fils, un câble coaxial, une bande de fréquences radio, un faisceau de lumière.

De manière générale, on distingue l’information orale dont le canal est l’air atmosphérique et mémorisée dans le système nerveux central, l’information écrite qui nécessite un support comme le papier ou un écran, l’information faite d’images animée ou non (photo, vidéo, etc). Chez l’homme, l’efficacité de la transmission dépend étroitement d’un environnement particulier. La perception est liée aux aspects sensoriels du « récepteur » : sensibilité aux ondes sonores, visuelles ou électromagnétiques, sensibilité aux molécules chimiques ou biochimiques. Le caractère conscient ou inconscient, les paramètres psychosociaux de l’information modifient la perception. De ces éléments dépend le fait que les infos soient éventuellement mémorisées et transformées en connaissances, soient réutilisables. Des questions politiques, morales, éthiques, déontologiques et légales apparaissent fréquemment liées à l’émission et au traitement de l’information.

En latin, « informatio » signifie « ce qui donne forme à l’esprit », « ce qui instruit », « ce qui enseigne », « ce qui discipline ».  Le mot « information » est employé dans plusieurs contextes variant de la culture aux technologies et à la génétique. L’information se trouve souvent associée à des termes polysémiques tels que « réplication », « transcription », « traduction », « mutation », « polymorphisme », « cycle de vie », « patrimoine », « identité » et « évolution » qui en précisent la nature. Ainsi, patrimoine peut désigner à la fois « patrimoine culturel », « patrimoine numérique » ou « patrimoine génétique ». L’identité peut être culturelle, numérique ou génétique. De la même manière, l’évolution peut être culturelle, technologique ou biologique.

Lorsque Shannon publie sa théorie dans le contexte du traitement du signal par les machines, il prend en quelque sorte le contre-pied du raisonnement habituel. L’information ne donne pas un ordre à une machine mais elle résout une incertitude. Il se place du côté du récepteur en attente d’une commande. Le bit (0 ou 1, oui ou non) est défini comme unité logique et entière. Toute information analogique peut être mathématiquement et physiquement réduite à ce cas. Il devient alors possible de la quantifier, comme l’énergie, la masse, le temps ou une distance. Le bit permet de quantifier les mémoires, les vitesses de transmission (capacité d’un canal), ou bien de caractériser et d’optimiser l’encodage d’un message.

Shannon propose ensuite le « diagramme schématique d’un système général de communication », figure 1, qui s’avère assez général, utilisé dans une multitude de domaines. Le physicien limite son raisonnement au cas de la transmission de l’information par les outils électriques de son époque : télégraphe, téléphone, radio, télévision. Il s’agit de transmettre un signal porteur d’informations en présence de bruit. La langue, le message, les mots et les lettres peuvent être analysés statistiquement et encodés.

“Information is the resolution of uncertainty” Claude Shannon

L’entropie

Des analyses de fréquence des signaux permettent de calculer l’entropie. Cet indicateur statistique fournit des renseignements sur la variabilité des composantes constitutives d’un message. Le calcul de l’entropie présente quelque intérêt pratique dans divers domaines. Ainsi, les algorithmes génétiques permettent de trouver des solutions optimales dans un environnement contraint. Il s’agit d’augmenter l’entropie en introduisant des « mutations » et d’analyser l’adaptation aux contraintes des « mutants ». Au contraire, dans des algorithmes de classification automatique, il convient de minimiser de manière informatique l’entropie intra-classe pour faire émerger des classes homogènes. Les écologues utilisent l’entropie pour mesurer la diversité des espèces dans un écosystème. Les sociologues utilisent l’indice de Theil fondé sur l’entropie pour mesurer la diversité des revenus dans une population par exemple. La relation entre l’entropie de Shannon, et l’entropie de Boltzman est étudiée par différentes personnalités scientifiques parmi lesquels Léon Brilloin qui démontre dans son livre “Naissance de la théorie de l’information” (1953) l’équivalence entre l’entropie de Botzman et celle de Shannon.

ADN et biologie

Précédant Shannon de quelques années, Shrödinger propose en 1944 son livre “What is life” dans lequel la notion d’entropie négative ou néguentropie caractéristique de la vie est introduite. Dans ce même ouvrage, une sorte de portrait robot des fonctions que doit remplir l’ADN en matière de codage de l’information est dressée. Qu’en est il des 4 célèbres bases nucléiques transportant une information de caractère discret ? Caractérisé en 1953 par Watson et Crick auxquels il est sans doute possible d’associer Rosalind Franklin et Wilkins, l’ADN constitue le support de l’information génétique.

La fameuse molécule se réplique et apparaît transcrite en 2 bits dans le noyau cellulaire. Lors de la réplication (l’ADN produit de l’ADN) ou de la transcription (l’ADN produit de l’ARN messager), quatre choix sont possible pour la DNA polymerase ou pour la RNA polymerase dans le but de synthétiser respectivement une nouvelle molécule d’ADN (A, G, C, T) ou bien une nouvelle molécule d’ARN (AGCU).

La traduction (l’ARN produit des protéines) se produit dans le cytoplasme. Cette opération se fait en 6 bits. Une association logique est faite entre 3 bases d’ARN messager et un acide aminé. Ainsi, avec 3 bases, 64 codons sont possibles. 64 codons correspondant à 3 x 2² = 2 puissance 6 choix d’information possibles pour le ribosome. L’ARN codent pour 22 acides aminés, un codon start et un codon stop soit 24 choix possible. Quels que soient les êtres vivants, plusieurs codons codent pour le même acide aminé et le code génétique est dit « dégénéré ». Chez les bactéries, réplication, transcription et traduction se produisent dans le même compartiment cellulaire.

Une hormone peut encore être considérée comme un message analogique ciblant des récepteurs cibles. Le fonctionnement des neurones peut être modélisé de la même manière. Certains émettent un signal, d’autres transmettent, réceptionnent et agissent. Des phénomènes de seuil, de concentration ou d’intensité viennent cependant compliquer les phénomènes. Une interprétation large de la théorie peut apporter une meilleure compréhension de certains mécanismes observés chez le vivant. Comme nous venons de la voir, la Nature comme la Culture peuvent être analysées en terme de logique shannonienne. Historiquement cependant, Shannon réfute une interprétation large de son modèle.

2016

Du Shannon de 1948 à Internet et au développement du web, à l’information libre sur Wikipédia, et aux logiciels et licences libres en poursuivant par les réseaux sociaux, un long chemin a été parcouru. L’usage des nouvelles technologies est devenu de nos jours banal. Il suffit de partager une écriture et une langue, du matériel, un réseau et une prise électrique, et les informations sont échangées en grandes quantités. Le commerce électronique se développe, rendant possible l’émergence d’une véritable société de l’information. Le numérique est devenu en quelques années un changement culturel majeur autant qu’industriel ou technologique. De grosses entreprises dynamisent le secteur et une multitude d’acteurs secondaires apparaissent tous les jours.

Monnaies et crypto-monnaies

Quelques remarques complémentaires en relation peu étroite avec l’article de Shannon concernent la monnaie de nos jours électronique. Ce sont des flux d’information entre acheteurs, vendeurs et banques qui rendent possible les transactions. Des intermédiaires tels que des fournisseurs d’accès, des banques, des organismes tiers, peuvent être perçus comme des autorités susceptibles de générer la confiance et de faciliter les échanges. Jusqu’à présent seuls les états et les banques garantissaient cette fameuse confiance en une monnaie qui se doit d’être présente en quantité limitée pour conserver sa valeur.

L’introduction des crypto-monnaies comme le bitcoin marque une rupture technique, politique et économique. Dépendant du réseau Internet, le bitcoin assure en effet de manière mathématique, cryptographique et logique la confiance dans la validité des transactions et dans la limitation des quantités de monnaie en circulation. La « chaîne de blocs » rend cela possible. Elle consiste en une base de donnée chiffrée et décentralisée de l’ensemble des transactions effectuées. La chaîne de bloc est susceptible de présenter une variété d’applications pour lesquels la confiance revêt un aspect critique. On peut ainsi envisager des applications dans les secteurs des données cadastrales, des activités notariales, de la validation de titres de propriété, de l’assurance, de la traçabilité, du vote sécurisé. Élaboré dans un esprit libertaire pour faire émerger une valeur d’échange qui échappe au contrôle des banques et des états, le bitcoin et la chaîne de bloc sont cependant susceptibles de mener à une modernisation de de ceux-ci. Un algorithme peut aussi générer de la confiance à condition que son code soit ouvert.

L’information libre, oh yeah

Dans le cade d’élections, lorsqu’un référendum est organisé, un bit d’information est transmis d’un individu à une urne, symbole de la volonté commune. L’émergence du numérique nous fait bien comprendre que l’information est partout présente dans nos cultures. Une nouvelle discipline est même née au carrefour des sciences humaines et de l’informatique : les humanités numériques. Pour des scientifiques qui étudient la transition de longue date tels que des personnalités comme Michel Serres,  Pierre Levy, Bernard Stiegler, Dominique Wolton, Monique Dagnaud, Richard Dawkins, etc, ou bien pour les praticiens tels que Richard Stallman, Tim Berners Lee et bien d’autres encore une “pensée numérique” est née qui s’appuie sur Internet, dont la logique s’avère aussi imparable que 01 et 01 font 10.

Conclusion

La fécondité d’une « simple » théorie, les possibilités nouvelles qu’elle est susceptible d’apporter peut étonner. En sciences de l’ingénieur : reconnaissance des caractères, des visages et de la voix, économie collaborative, transactions à haute fréquence :-(, Bitcoin, BitLand, Fab-Labs :-), Git, Stack Overflow et autres listes de discussion :-), impression 3D font partie de l’usage courant, ou vont le devenir. Dans le secteur tout à fait différent des biotechnologies : tests génétiques :-), plantes transgéniques résistant aux herbicides 😦 thérapie génique :-), thérapie cellulaire :-), etc. D’autres applications restent à être inventés. De nouveaux équilibres doivent être trouvés entre le virtuel et le réel, entre la théorie et la pratique, entre le dogmatisme et l’empirisme, entre la culture et la nature, ou bien encore entre les intérêts communs et particuliers. Des concepts philosophiques et informatiques majeurs tels que “l’échange”, “la mémoire” ou bien “le calcul” nous rappellent sur les pas des cybernéticiens, que de nombreuses similitudes existent entre les hommes, les animaux, voire même les machines.

Dernière petite précision concernant le père de la théorie de l’information. Celui-ci prend plaisir à pratiquer le monocycle, à jongler, à construire des machines inutiles, amusantes, et sa maison est remplie de telles inventions. Parmi celles-ci, on peut mentionner le THROBAC, un calculateur qui fait des opérations arithmétiques en chiffres romains, des “tortues” qui s’égarent dans les pièces, des machines de différentes sortes et de toutes tailles, une machine à jongler avec trois balles, ainsi que l’”Ultimate Machine”, un étonnant engin dont l’idée originale revient à Marvin Minsky. Physicien, Mathématicien, Logicien, Philosophe, Généticien ou Jongleur ? Shannon est il le dernier des métaphysiciens ou bien le premier d’une nouvelle génération.

Texte original

bit-generation#0

Pour comprendre

Organismes

Pour le fun

Biologie

Culture

Informatique

Pour aller plus loin

Le centenaire

“All models are wrong but some are usefull” George E. P. Box

[à suivre]

Publicités

, , ,

2 Commentaires