Entropia de Shannon

Toque num termo para ver o que ele significa, ou .

Calcule

Exemplo: uma fonte que emite quatro símbolos, com chances de 1/2, 1/4, 1/8 e 1/8. Quanta informação, em bits, cada símbolo carrega em média? Troque as probabilidades — ou ponha contagens, que elas são convertidas — para calcular o seu caso.

Probabilidades ou contagens Separadas por espaço ou ponto e vírgula. Se não somarem 1, são tratadas como contagens.

Passo a passo

O que significa cada termo

Entropia (H): A incerteza média sobre o resultado, em bits. Zero quando o resultado é certo; máxima, log₂ k, quando os k resultados são igualmente prováveis.
Soma com Sinal Trocado (−Σ): Soma sobre todos os resultados. O sinal de menos existe porque o log de uma probabilidade é negativo, e a entropia deve dar positiva.
Probabilidade (pᵢ): O peso de cada resultado: a média é ponderada pela chance de cada um acontecer.
Surpresa (log₂ pᵢ): −log₂ p é a surpresa de um resultado: 1 bit para uma chance de 1/2, 3 bits para 1/8. Resultados raros surpreendem mais.