Naive Bayes sınıflandırıcı

Vikipedi, özgür ansiklopedi
Atla: kullan, ara
Bayes Teoremi

Naïve Bayes Sınıflandırıcı adını İngiliz matematikçi Thomas Bayes'ten (yak. 1701 - 7 Nisan 1761) alır. Naïve Bayes Sınıflandırıcı Örüntü tanıma problemine ilk bakışta oldukca kısıtlayıcı görülen bir önerme ile kullanılabilen olasılıkcı bir yaklaşımdır. Bu önerme örüntü tanıma da kullanılacak her bir tanımlayıcı nitelik ya da parametrenin istatistik açıdan bağımsız olması gerekliliğidir. Hernekadar bu önerme Naive Bayes Sınıflandırıcısının kullanım alanını kısıtlandırsa da, genelde istatistik bağımsızlık koşulu esnetilerek kullanıldığında da daha karmaşık Yapay sinir ağları gibi metodlarla karşılaştırabilir sonuçlar vermektedir.

Bayes Teoremi[değiştir | kaynağı değiştir]

Naive Bayes sınıflandırıcısı Bayes teoreminin bağımsılık önermesiyle basitleştirilmiş halidir. Bayes teoremi aşağıdaki denklemle ifade edilir;

P(A|B) = \frac{P(B | A)\, P(A)}{P(B)}
P(A|B) ; B olayı gerçekleştiği durumda A olayının meydana gelme olasılığıdır (bakınız koşullu olasılık )
P(B|A) ; A olayı gerçekleştiği durumda B olayının meydana gelme olasılığıdır
P(A) ve P(B) ; A ve B olaylarının önsel olasılıklarıdır.

Burada önsel olasılık Bayes teoreminine öznellik katar. Diğer bir ifadeyle örneğin P(A) henüz elde veri toplanmadan A olayı hakkında sahip olunan bilgidir. Diğer taraftan P(B|A) ardıl olasılıktır çünkü veri toplandıktan sonra, A olayının gerçekleşmiş olduğu durumlarda B olayının gerçekleşme ihtimali hakkında bilgi verir.[1]

Sınıflandırma Problemi[değiştir | kaynağı değiştir]

Naive Bayes Sınıflandırması Makine öğreniminde öğreticili öğrenme alt sınıfındadır. Daha açık bir ifadeyle sınıflandırılması gereken sınıflar(kümeler) ve örnek verilerin hangi sınıflara ayit olduğu bellidir. E-posta kutusuna gelen e-postaların spam olarak ayrıştırılması işlemi buna örnek verilebilir. Bu örnekte spam e-posta ve spam olmayan e-posta ayrıştırılacak iki sınıfı temsil eder. Elimizdeki spam ve spam olmayan e-postalardan yaralanarak gelecekte elimize ulaşacak e-postaların spam olup olmadığına karar verecek bir Algoritma da öğreticili makina öğrenmesine örnektir.
Sınıflandırma işleminde genel olarak elde bir örüntü (pattern) vardır. Buradaki işlem de bu örüntüyü daha önceden tanımlanmış sınıflara sınıflandırmaktır. Her örüntü nicelik (feature ya da parametre) kümesi tarafından temsil edilir.

Nicelik Kümesi[değiştir | kaynağı değiştir]

Yine yukarıda bahsedilen spam e-posta örneğinden devam edilecek olunursa; Posta kutumuzda bulunan spam e-postaları spam olmayan e-postalardan ayıran parametrelerden oluşan bir küme, mesela ikramiye,ödül gibi sözcüklerden oluşan, nicelik kümesine örnektir. Matematiksel bir ifadeyle nicelik kümesi;

 x(i), i = 1, 2, . . ., L  ,

ise
 x = [x(1), x(2), . . . , x(L)]^T  ∈ RL L-boyutlu nicelik vektörünü oluşturur.


x ∈ RL verildiğine göre ve S ayrıştırılacak sınıflar kümesiyse, Bayes teoremine göre aşagıdaki ifade yazılır.

 P(S_i|x)\times p(x) = p(x|S_i)\times P(S_i)


ve

 p(x)= \sum_{i=1}^L p(x|S_i)P(S_i)
  • P(Si); Si'nin öncel olasılığı i = 1, 2, . . . , L,
  • P(Si|x); Si'nin ardıl olasılığı
  • p(x); x in Olasılık yoğunluk fonksiyonu (oyf)
  • p(x|Si); i =1 = 2, . . . , L, x'in koşullu oyf'si

Bayes Karar Teoremi[değiştir | kaynağı değiştir]

Elimizde sınıfı belli olmayan bir örüntü olsun. Bu durumda

 x = [x(1), x(2), . . . , x(L)]^T  ∈ RL

sınıfı belli olmayan örüntünün L-boyutlu nicelik vektörüdür. Spam e-posta örneğinden gidecek olursak spam olup olmadığını bilmediğimiz yeni bir e-posta sınıfı belli olmayan örüntüdür.
Yine Si x'in atanacağı sınıf ise;
Bayes karar teorisine göre x sınıf Si'ya aittir eğer

P(S_i |x) > P(S_j |x), ∀j \neq,i

diğer bir ifadeyle eğer

P(x |S_i)P(S_i) > P(x|S_j )P(S_j), ∀j \neq,i

Naive Bayes Sınıflandırma[değiştir | kaynağı değiştir]

Verilen bir x'in ( x = [x(1), x(2), . . . , x(L)]T ∈ RL) sınıf Si'ye ait olup olmadığına karar vermek için kullanılan yukarıda formüle edilen Bayes karar teoreminde istatistik olarak bağımsızlık önermesinden yararlanılırsa bu tip sınıflandırmaya Naive bayes sınıflandırılması denir. Matematiksel bir ifadeyle

P(x |S_i)P(S_i) > P(x|S_j )P(S_j), ∀j \neq,i
ifadesindeki
P(x |S_i) terimi yeniden aşağıdaki gibi yazılır
P(x |S_i)\approx\prod_{k=1}^L P(x_k|S_i)

böylece Bayes karar teoremi aşagıdaki şekli alır. Bayes karar teorisine göre x sınıf Si'ya aittir eğer

P(S_i)\prod_{k=1}^L P(x_k|S_i)>P(S_j)\prod_{k=1}^L P(x_k|S_j)

P(S_i) ve P(S_j) i ve j sınıflarının öncel olasılıklarıdır. Elde olan veri kümesinden değerleri kolayca hesaplanabilir.

Naive bayes sınıflandırıcının kullanım alanı her nekadar kısıtlı gözüksede yüksek boyutlu uzayda ve yeterli sayıda veriyle x'in (nicelik kümesi) bileşenlerinin istatistik olarak bağımsız olması koşulu esnetilerek başarılı sonuçlar elde edilebilinir.[2]

Uygulama Alanları[değiştir | kaynağı değiştir]

Naive Bayes sınıflandırıcısı genel olarak veri madenciliğinde, biyomedikal mühendisliği alanında, hastalıkların ya da anormalliklerin tıbbi tanımlanmasında (otomatik olarak mühendislik ürünü tıbbi cihazlar tarafından tanı konulması)[3] , elektrokardiyografi (EKG) grafiğinin sınıflandırılmasında[4], elektroensefalografi (EEG) grafiklerinin ayrıştırılmasında[5], genetik araştırmalarında[6], yığın mesaj tanımlanmasında[7], metin ayrıştırılmasında[8] ve diğer bazı alanlarda kullanılır.

Ayrıca bakınız[değiştir | kaynağı değiştir]

Kaynakça[değiştir | kaynağı değiştir]

  • Theodoridis, Sergios and Koutroumbas, Konstantinos. Patern Recognition. San Diego : Academic Press, 2006.
  • Rouveirol, edited by Claire Nellec, Cine. Machine Learning: ECML-98 10th European Conference on Machine Learning Chemnitz, Germany, April 2123, 1998 Proceedings. Berlin: Springer-Verlag. ISBN 978-3-540-69781-7.
  • Tom M. Mitchell. Machine Learning. McGraw-Hill, 1997

Notlar[değiştir | kaynağı değiştir]

  1. ^ Pawlak, Zdzisław. "A Rough Set View on Bayes’ Theorem" (İngilizce). http://bcpw.bg.pw.edu.pl/Content/1933/IJIS2003.pdf. Erişim tarihi: 3 Kasım 2012. 
  2. ^ "Bayes Sınıflandırıcısı". http://cis.poly.edu/~mleung/FRE7851/f07/naiveBayesianClassifier.pdf. Erişim tarihi: 3 Kasım 2012. 
  3. ^ Lakoumentas, John; Drakos, John; Karakantza, Marina; Sakellaropoulos, George; Megalooikonomou, Vasileios; Nikiforidis, George (1 Ekim 2012). "Optimizations of the naïve-Bayes classifier for the prognosis of B-Chronic Lymphocytic Leukemia incorporating flow cytometry data". Computer Methods and Programs in Biomedicine 108 (1): 158–167. doi:10.1016/j.cmpb.2012.02.009. 
  4. ^ Wiggins, M.; Saad, A.; Litt, B.; Vachtsevanos, G. (31 Aralık 2007). "Evolving a Bayesian classifier for ECG-based age classification in medical applications". Applied Soft Computing 8 (1): 599–608. doi:10.1016/j.asoc.2007.03.009. 
  5. ^ Wang, Z; Hope, RM; Wang, Z; Ji, Q; Gray, WD (2011). "An EEG workload classifier for multiple subjects.". Conference proceedings : ... Annual International Conference of the IEEE Engineering in Medicine and Biology Society. IEEE Engineering in Medicine and Biology Society. Conference 2011: 6534-7. PMID 22255836. 
  6. ^ Malovini, Alberto; Barbarini, Nicola; Bellazzi, Riccardo (1 Ocak 2012). "Hierarchical Naive Bayes for genetic association studies". BMC Bioinformatics 13 (Suppl 14): S6. doi:10.1186/1471-2105-13-S14-S6. 
  7. ^ Almeida, Tiago A.; Almeida, Jurandy; Yamakami, Akebo (1 Aralık 2010). "Spam filtering: how the dimensionality reduction affects the accuracy of Naive Bayes classifiers". Journal of Internet Services and Applications 1 (3): 183–200. doi:10.1007/s13174-010-0014-7. 
  8. ^ Sebastiani, edited by Fabrizio (2003). Advances in Information Retrieval 25th European Conference on IR Research, ECIR 2003, Pisa, Italy, April 14-16, 2003. Proceedings. Berlin, Heidelberg: Springer-Verlag Berlin Heidelberg. ss. 335-350. ISBN 978-3-540-36618-8. 

Dış Kaynaklar[değiştir | kaynağı değiştir]

Naive Bayes örneği (python)
Naive Bayes (matlab)