L’entropie de l’oracle
Combien d’information donne chaque méthode, en bits
Comparez l’entropie de chaque méthode barre par barre et séparez la valeur yin ou yang du mouvement.
L’entropie de Shannon, H = moins la somme des p·log₂p, mesure l’information en bits. Un hexagramme uniforme fait exactement 6 bits, le maximum pour 64 états. Mais les méthodes ne donnent pas toutes la même chose : une ligne de pièces a plus d’entropie qu’une ligne d’achillée, et toute la différence tient au mouvement (vieux ou jeune), car la valeur yin/yang pure vaut exactement 1 bit dans les deux cas. À la première page de cet article de 1948 apparaît, pour la première fois, le mot bit.
clair = valeur yin/yang (1 bit dans les deux) · plein = mouvement (vieux/jeune)
En enchaînant les consultations (la chaîne de Markov), la distribution d’équilibre des pièces est uniforme et conserve les 6 bits ; celle de l’achillée penche vers le yin et descend à 4,8677 bits = 6·H(1/4). La méthode ancienne ne change pas seulement vers où tend la série, mais aussi la quantité d’information qu’elle retient.
Combien de bits coûte la transmission d’une ligne avec le meilleur code possible ? Celui de Huffman, construit par le site (non câblé), donne une longueur espérée de 1,875 bits avec les pièces (30/16) et de 1,8125 bits avec l’achillée (29/16). Le résultat : la méthode ancienne n’a pas seulement moins d’entropie, elle se comprime aussi mieux. Et les deux vérifient le théorème du codage de source de Shannon : H ≤ L < H+1, la longueur optimale reste à moins d’un bit de l’entropie.
Un hexagramme uniforme fait exactement 6 bits (le maximum pour 64 états) ; une ligne de pièces a 1,8113 bits et une d’achillée 1,7490, et la différence de 0,0623 réside entièrement dans le mouvement, car la valeur yin/yang vaut 1 bit dans les deux cas.
verificar_entropia · source : Shannon, 1948La stationnaire de la chaîne d’achillée a 4,8677 = 6 H(1/4) bits, contre les 6 de l’uniforme des pièces.
verificar_entropia · source : Shannon, 1948Le code optimal de Huffman d’une ligne donne une longueur espérée de 30/16 = 1,875 bits avec les pièces et 29/16 = 1,8125 avec l’achillée : la méthode ancienne a moins d’entropie et se comprime aussi mieux, en vérifiant H <= L < H+1.
verificar_entropia · source : Shannon, 1948Les types d’affirmation et la bibliographie complète (APA) sont dans Fondements.