Bilgi teorisi, bilginin niceliğinin, depolanmasının ve iletişiminin matematiksel olarak incelenmesidir. Alan ilk olarak 1920'lerde Harry Nyquist ve Ralph Hartley'nin ve 1940'larda Claude Shannon'un çalışmalarıyla kuruldu. Uygulamalı matematik alanı olasılık teorisi, istatistik, bilgisayar bilimi, istatistiksel mekanik, bilgi mühendisliği ve elektrik mühendisliğinin kesişim noktasındadır.
Bilgi teorisindeki önemli bir ölçü entropidir. Entropi, rastgele bir
değişkenin değerine veya rastgele bir sürecin sonucuna ilişkin belirsizlik
miktarını ölçer. Örneğin, adil bir yazı tura atmanın sonucunu belirlemek (iki
eşit olası sonuçla), bir zar atışının sonucunu belirlemekten (altı eşit olası
sonuçla) daha az bilgi sağlar (daha düşük entropi, daha az belirsizlik).
Bilgi teorisindeki diğer bazı önemli önlemler, karşılıklı bilgi, kanal
kapasitesi, hata üsleri ve göreceli entropidir. Bilgi teorisinin önemli alt
alanları kaynak kodlamayı, algoritmik karmaşıklık teorisini, algoritmik bilgi
teorisini ve bilgi teorik güvenliğini içerir.
Bilgi teorisinin temel konularının uygulamaları arasında kaynak
kodlama / veri sıkıştırma (ör. ZİP dosyaları için) ve kanal kodlama / hata algılama
ve düzeltme (ör. DSL için) bulunur. Etkisi, Voyager misyonlarının derin uzaya
başarısı, kompakt diskin icadı, cep telefonlarının fizibilitesi ve internetin
gelişimi için çok önemli olmuştur. Teori ayrıca istatistiksel çıkarım,
kriptografi, nörobiyoloji, algı, dilbilim, moleküler kodların evrimi ve işlevi
(biyoinformatik), termal fizik, moleküler dinamik, kuantum hesaplama, kara
delikler, bilgi alma, istihbarat toplama, intihal tespiti, örüntü tanıma,
anomali tespitinde ve hatta sanat yaratımında bile uygulama alanı bulmuştur.
(a) Başarı olasılığının bir
fonksiyonu olarak Bernoulli denemesinin entropisi, genellikle ikili entropi
fonksiyonu Hb(p) olarak adlandırılır; tarafsız bir yazı-tura atışında olduğu
gibi, iki olası sonuç eşit derecede muhtemel olduğunda, entropi deneme başına 1
bit ile maksimuma çıkarılır.
(b) İkili silme kanalı (binaryerasurechannel)
(Wiki)
(c) Entropinin Shannon
bilgisinin ağırlıklı toplamı olarak gösterilmesi ((Information
Theory Fig. 2)
https://en.wikipedia.org/wiki/Information_theory
14 Ocak 2024
GERİ (matematik anasayfa)
