başarısı veri hakkındaki
a priori bilginizle doğrudan ilintilidir. örneğin bir dosyanın ya
stairway to heaven mp3'ü ya da
voltaire'in
candide romanı olacağını biliyorsanız, dosyayı saklamak için tek bir bit işinizi görür. 0'sa ilki kastediliyordur, 1'se ikincisi. daha gerçekçi olursak, gönderilen bir metinse metnin yazıldığı dili bilmek bir avantajdır. örneğin dil türkçeyse gönderilen verinin içinde "ee" karakter dizisinin geçmeyeceğinden emin olabilirsiniz ve bu a priori bilgi veriyi sıkıştırmada işinize yarar.
veri hakkındaki a priori bilginiz, gözlenebilecek verilerin olasılık dağılımını belirler. gözlenebilecek tüm verilerin olasılıklarının aynı olması, iletilmek istenen bilgiyle ilgili hiçbir şey bilmediğiniz anlamına gelir. aksine sadece tek bir veriyi gözleme olasılığınız varsa, diğer verileri gözleme olasılığınız sıfırsa, iletilmek istenen bilgiyi zaten biliyorsunuz demektir. hiçbir şey bilmemekten, her şeyi bilmeye kadar uzanan bu ölçeğe
enformasyon entropisi denir. entropi size olasılık dağılımı verilen bir veriyi kaç bitle ifade edebileceğinizi söyler. teoride ve pratikte bir veriyi bu değerden daha az bitle ifade etmek mümkün değildir.
tabii ki tüm bunlar
kayıpsız veri sıkıştırma için geçerlidir.
