Exposé de Alain Chenciner lors de la journée “Les mathématiques de l’information”, organisée par le Département de mathématiques et applications (DMA) de l’ENS.
De nombreuses fautes de frappe n’empêchent pas de reconnaı̂tre sans ambiguı̈té un texte pourvu que la forme altérée ressemble plus au texte initial qu’à tout autre texte admissible. Jointe à une utilisation systématique de la loi des grands nombres qui implique la propriété d’équipartition asymptotique (AEP), cette simple remarque est à la base de la découverte par Claude Shannon de la limite H < C aux performances de tout code correcteur permettant une transmission fiable d’information par un canal “bruité” (i.e. faisant des erreurs) ainsi que de l’existence d’un code permettant d’approcher arbitrairement près de cette limite qui, restée longtemps virtuelle, est pratiquement atteinte aujourd’hui par les turbocodes. Toutes deux de nature probabiliste, l’entropie H d’une source de messages et la capacité C d’un canal de transmission sont définies par Shannon dans l’article qu’il publie en 1948 dans la revue des “Bell labs”, l’année même où, dans les mêmes Bell labs, JohnBardeen, Walter Brattain et William Shockley font la première démonstration du fonctionnement d’un transistor. Ainsi, des deux découvertes simultanées dont est né le monde d’information dans lequel nous vivons, l’une est de pure mathématique et même de la pire espèce, un théorème d’existence !
Catégories: Les mathématiques de l’information
Mot-clés : Code, théorie, information, Shannon Claude, échantillonnage