Entropi (bilgi kuramı)

Vikipedi, özgür ansiklopedi
Şuraya atla: kullan, ara

Bilgi kuramı'nda entropi bir iletinin içerdiği bilgi miktarıdır.

Tanım[değiştir | kaynağı değiştir]

Ayrık bir rassal değişken X'in entropisi

olarak tanımlanır.

Burada bir x için Pr[X=x]=0 ise,

varsayılır. Bu varsayım

limiti ile tutarlıdır.