Que dire de la théorie de l’information de Shannon en 2026 ?

théorie information shannon

Il est intéressant de noter que la théorie de l’information de Shannon est orientée « messages », phénoménologique on pourrait dire.
Quand la technique passe son temps à définir des étiquettes, à créer des nouveaux signes partagés, avec d’une certaine manière la « transcendance » associée et les relations de confiance intrinsèques : quand vous commandez le bouquin EAN: 9782226316240 , seul ce numéro défini le bouquin que vous allez recevoir. (Sans oublier qu’un ISBN n’identifie pas un bouquin au sens paquet de cellulose plus ou moins noircie, mais une édition, réimpressions potentiellement légèrement différentes comprises d’ailleurs).
Espèce de « transcendance » expliquant aussi sans doute en partie le certain « malaise » lié à cela d’ailleurs.

Et ceci n’est pas en soit une critique de la théorie de Shannon, mais il n’y a pas que ça et loin de là, les messages ont lieu dans un « environnement de connaissances ou écritures partagées », surtout.

Sinon sur le fait que je me soit peut-être avancé un peu vite en écrivant que les entropies de Shannon et celle thermodynamique n’avait rien à voir, oui peut-être !, mais enfin il ne me semble pas qu’une correspondance vraiment formelle existe. (reliant par exemple l’entropie thermodynamique d’une pierre gravée, et celle de Shannon correspondant au message écrit dessus)

Et puis le terme entropie employé par un philosophe est à prendre il me semble dans un sens plutôt métaphorique, on aurait parlé avant d’ordre et désordre dans la cybernétique.

Enfin bref, les mélanges science philo sont toujours dangereux, et si il y a un domaine scientifique très lié à la technique, et au numérique en particulier, dont on pourrait aussi parler, c’est tous les développements autour des langages formels, de l’avançée exponentielle et dangereuse des IA (source : livres disponibles sur la librairie SAPHIRA : Intelligence artificielle – Vers une domination programmée de Jean-Gabriel Ganascia ou L’I.A. m’a tué – Comprendre un monde post-humain de François Rastier) , des machines de turing, des automates, etc.

Le coût énergétique de l’information

Et sans oublier que notre époque, c’est aussi beaucoup le fait qu’en parallèle de cette véritable explosion de l’information, et de la technique associée (de la technique « ventilant » un nombre de publications aussi en explosion), une autre explosion, qui d’une certaine manière à permis cela, celle de l’utilisation de l’énergie pas chère et abondante des hydrocarbures fossiles, démarrée avec la révolution industrielle, est elle plutôt en train de ralentir, et très fortement, c’est à dire :
http://blogs.mediapart.fr/blog/yt75/030713/transition-energetique

Et d’ailleurs peut-être pourrait-t-on dire que l’explosion information/technique associée actuelle, fausse complétement la perception du problème énergétique, faisant croire par exemple que les mêmes progrès pourraient y avoir lieu, mais si la « loi de Moore » (augmentation du nombres de transistors par mm2 de silicium s’est à peu près vérifiée pendant des années), un panneau solaire par contre, ne pourra jamais « produire » plus qu’il ne reçoit…Même chose dans l’installation de climatisation air/air ou air/eau.

Gödel et l’information

Et à ce sujet ne pas oublier que les résultats majeurs ont souvent un caractère « négatif » (ou perçu comme tel), typiquement le théorème de Gödel a mis à mal l’un des principaux objectifs du programme de Hilbert. C’est quand même un évènement scientifique majeur du tournant XIXeme/XXeme.

Et avec aussi ces équivalences curieuses, entre par exemple le problème de l’arrêt et une version faible du théorème de Gödel.
Problème de l’arrêt : le fait qu’il est impossible d’écrire un programme qui, en prenant un autre en input, pourra déterminer si ce programme (celui en input) partira en boucle infinie ou pas.

Ou encore le fait que formellement un programme informatique peut être aussi considéré comme l’écriture d’une preuve de théorème (Correspondance de Curry-Howard).

D’ailleurs il n’est sans doute pas exagéré de dire qu’une bonne partie de « la recherche en intelligence artificielle » (il vaudrait mieux remplacer « en » par « de » dans cet énoncé) se bat ou se battait contre le théorème de Gödel …

D’une certaine manière notre époque est assise sur un énorme tas de pots cassés, sans vraiment vouloir le reconnaitre. Un peu pareil avec la linguistique, si on a cru à une époque qu’une super théorisation des langages (grammaire générative ou autre) permettrait ensuite des « compréhensions » ou traductions automatiques, en passant par des formes « abstraites » communes, de fait les systèmes actuels de traduction automatique (google translate ou autres) utilisent beaucoup plus un immense corpus de traductions déjà effectuées, et puis la « force brute », c’est à dire du « string matching » assez simple sur ce corpus.

Mais en attendant la technique, le livre de la technique (hardware et software) s’écrit, sorte d’énorme encyclopédie toujours parfaite au sens moderne (c’est ça et pas autre chose, et les définitions sont l’écriture elle même).