Zipf yasası

Vikipedi, özgür ansiklopedi
Atla: kullan, ara
Zipf yasası
Olasılık kütle fonksiyonu
N=10 için Zipf olasılık kütle fonksiyonu (OKF)
;;N=10 için Zipf OKF log–log ıskalası üzerindedir. Yatay eksen k endeksidir. (Fonksiyonun k nin sadece tamsayı değerleri ile tanımlandığına dikkat etmek gerekmektedir. Grafikteki noktaların birbirlerine doğrular parçaları ile bağlanmaları devamlılık ifade etmemelidir.) )
Yığmalı dağılım fonksiyonu
N=10 için Zipf olasılık yığmalı dağılım fonksiyonu (OKF)Fonksiyonun k nin sadece tamsayı değerleri ile tanımlandığına dikkat etmek gerekmektedir. Grafikteki noktaların birbirlerine doğrular parçaları ile bağlanmaları devamlılık ifade etmemelidir. )
Parametreler s>0\, (reel)
N \in \{1,2,3\ldots\} (tamsayı)
Destek k \in \{1,2,\ldots,N\}
Olasılık kütle fonksiyonu (OYF) \frac{1/k^s}{H_{N,s}}
Yığmalı dağılım fonksiyonu (YDF) \frac{H_{k,s}}{H_{N,s}}
Ortalama \frac{H_{N,s-1}}{H_{N,s}}
Medyan
Mod 1\,
Varyans
Çarpıklık
Fazladan basıklık
Entropi \frac{s}{H_{N,s}}\sum_{k=1}^N\frac{\ln(k)}{k^s}+\ln(H_{N,s})
Moment üreten fonksiyon (mf) \frac{1}{H_{N,s}}\sum_{n=1}^N \frac{e^{nt}}{n^s}
Karakteristik fonksiyon \frac{1}{H_{N,s}}\sum_{n=1}^N \frac{e^{int}}{n^s}


Zipf yasası matematiksel istatistik bilimi kullanilarak ortaya çıkartılan bir empirik yasa olarak formüle edilmiştir. Yasaya ad olarak, 1930'da Amerika'da Harvard Üniversitesi'nde dilbilim profesörü olan George Kingsley Zipf tarafından yayımlanması üzerine, onun adı verilmiştir. [1][2] Bu empirik yasa herhangi bir insan dili ile yazılmış bir metinde bulunan sözcüklerin sıklılıkları hakkindadır.

Bu yasa daha once de Alman Felix Auerbach tarafından 1913'de yayımlanmıştır. Ama bu yayımda yapılan sıralama dünya șehirlerinin nüfus itibariyle sıralanmasi idi. [3] Fransiz stenografi uzmani Jean-Baptiste Estoup (1868-1950) de metinlerde bulunan sözcüklerinin sistemik sıklılikları hakkında Zipf'den önce yayım yapmıştır. [4] Bu sıralamalar şirket büyüklükleri sıralamaları, gelir sıralamaları vb için de uygulanmıştır. Benoît Mandelbrot bu yasayı genelleştirmiştir.

Zipf yasasının niçin insan dillerinin çoğunda uygulanabileceği bilinmemektedir.[5]

Basit tanımlama ve örnekler[değiştir | kaynağı değiştir]

Dilbilimde bu yasaya göre herhangi bir yazılı metinde geçen sözcükler azalan sıklılığa göre (yani en çok kullanılandan en az kullanılana doğru) sıralanırsa, elde edilen sıralama listesindeki tek bir sözcüğün sıra numarası ile o sözcüğün sıklilık sayısı her zaman sabit bir sayı olur. Bu daha kolayca olarak, sıra numarası N olan bir sözcük için sıklilığın 1/N olduğu şeklinde ifade edilebilir. Böylece en fazla sıklilıkla kullanılan sözcük ikinci sırada sıklıkla kullanılan sözcükten 2 misli daha fazla, üçüncü sıradaki sözcükten 3 misli daha fazla vb. kullanılır.

Bir diğer örnek olarak 10 sözcükten oluşan bir metin dili ele alındığı kabul edilsin ve bu metin dilinde hazırlanan tüm metinlerde en fazla sayida kullanılan sözcük 100 defa kullanıldığı kabul edilsin; bu halde yapılan en sık kullanılandan an az sık kullanılan sözcügğe göre yapılan sözcük sıralaması (Zipf yasası'na göre) şöyle olacaktır: 1. sözcūk => 100/1 = 100
2. sözcūk => 100/2 = 50
3. sözcūk => 100/3 = 33,3
4. sözcūk => 100/4 = 25
5. sözcūk => 100/5 = 20
6. sözcūk => 100/6 = 16,6
7. sözcūk => 100/7 = 14,3
8. sözcūk => 100/8 = 12,5
9. sözcūk => 100/9 = 11,1
10.sözcūk => 100/10= 10

Bu örnekde görüldüğü gibi sözcük sıklıliğı sıralamadaki ilk sözcukler diğerlerine göre çok daha fazla olarak gözümlenmekte, diğer tüm sözcükler gittikçe azalan sayılarda olarak gözümlenmektedir.

İrlanda'lı yazar James Joyce'un "Ulyses" adlı İngilizce romanının ana metinindeki sözcüklerin sıklılıklarının sıralanması.

George Kingsley Zipf, İrlandalı yazar James Joyce'un 2 Şubat 1922'de yayınlanan Ulysses adlı romanını ayrıntılı incelemiş ve bu romanda bulunan sözcuklaerin sıklilığını ve bu sıklıliğı sıralanmasını bulmuştur. Bu araştırmaya göre

  • en fazla sıklılıkla kullanılan sözcük 8.000 defa kullanılmış;
  • sıklılık sıralamasında 10. olan sözcük 800 defa kullanılmış;
  • sıklılık sıralamasında 100. olan sözcük 80 defa kullanılmış;
  • sıklılık sıralamasında 1000. olan sözcük 8 defa kullanılmıştır.

Günümüzde kompüterler kullanarak eldeki en büyük yazılı metinlerde bile sözcük sıralama araştırması birkaç saniyeyeyi aşmamaktadır ve bunlardan genelleştirilirme yapılırsa herhangi bir yazılı metinde gözümlenmektedir ki sırası N olan bir sözcük için sıralama fonksiyonu f(N) şu Zipf yasasına uymaktadır:
f(n)=\frac{K}{n} burada K bir sabittir.

Zipf yasasının uygulanması en kolay bir şekilde sıralama sıklıklıklar verisinin bir log-log eksenli grafikte gösterilmesi ve bu verilere doğrusal regresyon tatbiki olmaktadır. Herhangi değişken bir sıralama verişi için; R=sıralama sayıları; N: sıralama sıklilığı ve a ve b doğrusal regresyon katsayıları olup
log R = a - b log N
Regresyon doğrusu uygulanırsa ve eğer b=1 bulunursa, verilerin Zipf yasasına uygunluğu kabul edilmesi gerekir.

2004'de yapılan ve dünya şehrilerinin nüfusları sıralamasına uygulanan bir araştırmada genel olarak b = 1.07 bulunmuştur. [6]Tüm dağılımın log-normal dağılımın uygunluğu ve üst kuyruk verilerinin ise Zıpf yasasına uyduğu görülmüştür. Bu çalışmaya göre "the" sözcüğü için
x = log(1) ve y = log(69971).

Teorik gelişme[değiştir | kaynağı değiştir]

Bu yasaya göre fizksel bilimler ve sosyal bilimlerde incelene verilerin çoğunluğu ayrık üstel yasa olasılık dağılımı'na ilişkili olan bir Zipf dağılımı yaklaşık olarak ifade edilir. Formel olarak; şu ifadeleri kullanalım:

  • N elamanlar sayısı;
  • k elemanların sıralaması;
  • s dağılımı karakterize eden üssel değer

Zıpf yasası N sayıda elemeni bulunan bir anakitle için, k sıralama numarası gösteren elemanların dağılımının yanı f(k;s,N) fonksiyonu şöyle ifade eder:

f(k;s,N)=\frac{1/k^s}{\sum_{n=1}^N (1/n^s)}.

Eğer her eleamnin ortaya çıkma sıklılığı dsayıları birbirinden bağımsız ve bir üstel yasa dağılımı, yani
p(f) {{=}}\alpha f^{-1-1/s}.
, gösteren birbiryle tüm olarak aynı olan dağılım gösteren rassal değişkenler ise Zipf yasası geçerlidir. [7]

İngilizce dilinde bulunan sözcükler örneğine göre N İngilizce dilinde bulunan sözcük sayısı olursa ve klasik Zıpf yasası kullanılırsa s in ussel değeri 1 olur. O zaman f(ks,N) en çok kullanılan sözcüğün kullanılma kesirsel saysısını ifade eder.

Zipf yasası şu şekilde de ifade edilebilir:

f(k;s,N)=\frac{1}{k^s H_{N,s}}

burada HN,s Ninci genelleştirilmiş harmonik sayı olur.

İstatistiksel açıklama[değiştir | kaynağı değiştir]

Wentian Lı bu yasanın rassal olarak yaratılmış olan metinlerin istatistiksel analizi ile de kısmen açıklanabileceğini iddia etmektedir. Bir ayrık tekdüze dağılım gösteren alfabede bulunan her harfi (ve boşluk ifade eden karakteri) kapsayan bir kütleden rassal olarak seçilen her bir karakteri ihtiva eden bir metinde bulunan "sözcükler"in (yaklaşık olarak log-log eksenli bir grafikte yaklaşık olarak doğrusal görünerek) Zıpf yasasına uygunluklarini göstermiştir. [8]

Vitold Belevitch ıse çok sayıda iyice belirtilebilen ististiksel dağılımı (sadece normal dağılımı değil) ele alıp bunlarin bir sıralamsini yapmıştır. Sonra her bir ifadeyi bir Taylor serisi olarak genişletmiştir. Çok dikkat çekici bir sonuç olarak incelediği her halde elde edilen Taylor serisinin birinci-sıra kesimi Zipf Yasasina ve ikinci-sıra kesimini ise Zipf-Mandelbrot Yasası'na uygun oldukları görülmsktedir.[9][10]

Zipf'in şahsi açıklaması belirlenmiş bir insan dilini konuşanların ve bu dille yazarların ifade ettiklerinin anlaşılabilmesi için yaklaşık olarak eşit dağılımlı efor sarfetmekten fazla uğraşmaktan sakınmaktadirlar. Bu gereken efordan fazlasindan kacinmak davranisi Zıpf yasası'nın gözümlenmesine neden olmaktadir. [11]

Ayrica bakiniz[değiştir | kaynağı değiştir]

Notlar[değiştir | kaynağı değiştir]

  1. ^ Zipf George K. (1935). The psychology of language.Cambridge, Mass.: Houghton-Mifflin.
  2. ^ Zipf George K. (194)9. Human behavior and the principle of least effort. Addison-Wesley.
  3. ^ Auerbach F (1913) Das Gesetz der Bevölkerungskonzentration. Petermanns Geogr Mitt 59: 74–76
  4. ^ Christopher D. Manning, Hinrich Schütze Foundations of Statistical Natural Language Processing, MIT Press (1999), ISBN 978-0-262-13360-9, say. 24
  5. ^ Brillouin, Léon [1959] 2004. La science et la théorie de l'information.
  6. ^ Eeckhout J. (2004), "Gibrat's law for (All) Cities." American Economic Review C.94(5), say.1429-1451.
  7. ^ Adamic, Lada A. [http://www.hpl.hp.com/research/idl/papers/ranking/ranking.html "Zıpf, Üstel-yasalar ve Pareto - bir sıralama ders notu"
  8. ^ Li, Wentian (1992). "Random Texts Exhibit Zıpf's-Law-Like Word Frequency Distribution". İEEE Transactions on Information Theory 38: 1842–1845. doi:10.1109/18.165464. 
  9. ^ Belevitch, Vitold (1959), "On the statistical laws of linguistic distributions", Annales de la Soçiété Scientifique de Bruxelles C.73 seri İ say.310-326.
  10. ^ "Statistical metalinguistics and Zıpf/Pareto/Mandelbrot" SRİ International Computer Science Laboratory, erişim: archived 29 Mayıs 2011.
  11. ^ Zıpf, George K. 1969) Human Behavior and the Principle of Least Effort", Cambridge, Mass, Addison-Wesley,s.1

Dış bağlantılar[değiştir | kaynağı değiştir]