enformasyon entropisi  

bir sinyalin enformasyon entropisi o sinyalin içerdiği enformasyon miktarı hakkında bir ölçüdür. yüksek enformasyon içeren sinyalin entropisi de yüksek olacaktır.

enformasyondan kastımız sinyali alan insanın "şaşırma" miktarıdır. alıcı tarafında ne kadar çok belirsizlik ortadan kalkıyorsa (alıcı ne kadar çok şaşırıyorsa) aktarılan enformasyon o kadar yüksek demektir. bu tanıma göre rasgele sinyal üreten bir kaynağın ürettiği enformasyon miktarı çok yüksektir çünkü sıkıştırma şansınız yoktur, ancak sinyalin tümünü aldıktan sonra belirsizlik tamamen ortadan kalkacaktır. tam tersine fenerbahçe - galatasaray maçlarının bir sinyal olarak enformasyon entropisi düşüktür çünkü sonucu az çok tahmin edilebilir. seyircinin şaşırma miktarı düşüktür*.

(bkz: claude shannon)

(bkz: kolmogorov karmaşıklığı)

kolay anlaşılabilecek ve üsttekine eş değer bir diğer tanımı da şudur:

bir sinyalin enformasyon entropisi o sinyalin aldığı değeri bilmediğiniz zaman kaçırdığınız bilgi miktarının ölçüsüdür.

enformasyon entropisi 1 olan bir sinyalin kolmogorov karmaşıklığının da kendi uzunluğuna denk olduğunu sanıyorum ama çok geç oldu saat, emin değilim yani.

hesaplarken iki tabanında logaritma kullanırsanız birimi bit olur.

x rastlantı değişkenine ilişkin p(x) gibi bir olasılık dağılımı için x'ler üzerinden -p(x)*lg[p(x)] toplamına eşittir. bu değer, x olayının sonucunu öğrendiğimizde kazandığımız bilginin bit cinsinden ifadesidir. işin ilginç yanı, shannon'un bilgi kuramını oluştururken bulduğu bu ifadenin, gibbs'in belki yüz sene önce termodinamik sistemler için bulduğu entropi ifadesiyle birebir örtüşüyor olmasıdır.

(bkz: gibbs entropisi)