Metin madenciliği

Vikipedi, özgür ansiklopedi
Atla: kullan, ara

Metin madenciliği çalışmaları metni veri kaynağı olarak kabul eden veri madenciliği (İng. data mining) çalışmasıdır diğer bir tanımla metin üzerinden yapısallaştırılmış veri elde etmeyi amaçlar. Örneğin metinlerin sınıflandırılması, bölütlenmesi (İng. clustering), metinlerden konu çıkarılması (İng. concept/entity extraction), sınıf taneciklerinin üretilmesi (İng. production of granular taxonomy), duygusal analiz (İng. sentimental analysis)[1], metin özetleme (İng. document summarization), varlık ilişki modellemesi (İng. entity relationship modelling) gibi çalışmaları hedefler.

Yukarıdaki hedeflere ulaşılması için metin madenciliği çalışmaları kapsamında enformasyon getirimi (information retrieval), hece analizi (lexical analysis), kelime frekans dağılımı (İng. Word requency distribution), örüntü tanıma (İng. pattern recognition), etiketleme (İng. tagging), enformasyon çıkarımı (İng. information extraction), veri madenciliği (İng. data mining) ve hatta görselleştirme (İng. visualization) gibi yöntemleri kullanmaktadır.

Metin madenciliği çalışmaları, metin kaynaklı literatürdeki diğer bir çalışma alanı olan doğal dil işleme (İng. natural language processing, NLP) çalışmaları ile çoğu zaman beraber yol yürümektedir. Doğal dil işleme çalışmaları daha çok yapay zeka altındaki dil bilim bilgisine dayalı çalışmalarını kapsamaktadır. Metin madenciliği çalışmaları ise daha çok istatistiksel olarak metin üzerinden sonuçlara ulaşmayı hedefler. Metin madenciliği çalışmaları sırasında çoğu zaman doğal dil işleme kullanılarak özellik çıkarımı da yapılmaktadır[2].

Tarihçesi[değiştir | kaynağı değiştir]

İnsan-yoğun elle metin madenciliği çalışmalarının 1980'lerin ortalarında başladığı söylenebilir,[3] ancak teknolojik gelişmelerin ışığında konu 2000'lerden sonra parlamıştır. Metin madenciliği disiplinler arası bir çalışmaa alanı olup enformasyon getirimi, veri madenciliği, makine öğrenmesi, istatistik ve işlemsel dilbilim kavramlarının ortak çalışma alanıdır. Günümüzde enformasyonun büyük kısmı (bilimsel tahminlere göre %80'lik kısmı) metin olarak tutulmaktadırref name="clarabridge.com">Unstructured Data and the 80 Percent Rule[ölü/kırık bağlantı]</ref>. Bu yüzden metin madenciliği çalışmalarının yüksek eknomik değeri olduğu ve olacağı söylenebilir. Ayrıca çok dilli veri madenciliği gibi farklı dillerden aynı özellikleri taşıyan değerlerin çıkarılması da güncel konulardandır. Genelde, metin madenciliği çalışmalarının çözüm aradığı zorluk, yüksek miktardaki yapılandırılmamış verinin, yapısal bir hale dönüştürülmesidir.[4]İş zekası çalışmalarının ilk yayınlarında, aşağıdaki şekilde tanımlandığı görülebilir:

"... makinelerin metinler üzerinde otomatik-özetleme veya otomatik-kodlama gibi işletmelerin ilgilendiği 'eylem noktalarını' ilgi çekici profiller haline getiren veri-işlem'den faydalanmaktır. Hem dışarıdan alınan hem de içeriden üretilen dokumanlar otomatik olarak özetlenebilir, kelime örüntülerine göre yorumlanabilir ve uygun işlere otomatik olarak yönlendirilebilir.

Her ne kadar enformasyon sistemleri 1960'larda başlasa da, iş zekası kavramının yazılım dünyasında kabul gören bir kategori haline dönülmesi 80'ler ve 90'larda başlamıştır. Ardından metinin 'yapısız' özelliğinden dolayı işlenmesi zor bir hedef olarak seçilmesi ve metin analiz çalışmalarının başarısı için algoritmaların geliştirilmesi 1990'ların sonunu bulmuştur. Prof. Marti A. Hearst, 'Untangling Text Data Mining' başlıklı makalesinde bu konudan detaylıca bahsedr.[5]

Neredeyse 10 yıllık bir süreçte, işlenebilir dilbilim camiası, büyük metin kümelerini daha iyi bir metin analiz algoritması bulmak için inceledi. Bu makalede, yeni bir yaklaşım sunmak istiyorum: büyük çevrim içi metin birikimlerini dünyanın kendisi ile ilgili gerçekleri keşfetmek için kullanmayı öneriyorum. Bu önerimin arkasında, tamamen yapay zeka ile metin analizi yapan ve hatta işlemsel olarak veya kullanıcılar tarafından yönlendirilen analizlerin ötesinde, heyecan verici yeni bir kapı açmak isteği vardır.

Hearst'ün 1999 yılındaki bu makalesinden 10 yıl kadar sonra, metin madenciliği çalışmaları kabul gören ve çok sayıda uygulama alanı olan bir dünyaya dönüşmüştü.

Uygulama Alanları[değiştir | kaynağı değiştir]

Metin madenciliği çalışmaları genelde devlet seviyesi, bilimsel araştırma ve iş dünyası ihtiyaçları için çeşitli çözümler sunmaktadır. Bu amaçlardan bazıları aşağıdaki şekilde sıralanabilir:

  • Kurumsal İş Zekası , Veri Madenciliği ve Rekabet Zekası (İng. Competitive Intelligence)
  • E-Keşif, Kayıt Yönetimi
  • Ulusal Güvenlik ve İstihbarat
  • Özellikle beşeri bilimler başta olmak üzere bilimsel metinlerin işlenmesi
  • Duygusal Analiz Araçları
  • Doğal Dil / Anlambilimsel Araç veya hizmetler
  • Yayıncılık
  • Otomatik reklam yerleştirme
  • Arama / Bilgi Erişimi
  • Sosyal medya gözetlemesi

Kaynaklar[değiştir | kaynağı değiştir]

  1. ^ Sadi Evren SEKER, Khaled Al-Naami, Sentimental Analysis on Turkish Blogs via Ensemble Classifier, (DMIN'13), Proceedings of the 2013 International Conference on Data Mining, ISBN=1-60132-239-9 , pp. 10-16, 2013
  2. ^ Şadi Evren ŞEKER. "Metin Madenciliği". MISSozluk. http://mis.sadievrenseker.com/2014/06/metin-madenciligi-text-mining/. Erişim tarihi: 15 Haziran 2014. 
  3. ^ Content Analysis of Verbatim Explanations
  4. ^ http://www.b-eye-network.com/view/6311
  5. ^ Hearst, Marti A. (1999). "Untangling text data mining". Proceedings of the 37th annual meeting of the Association for Computational Linguistics on Computational Linguistics. ss. 3–10. doi:10.3115/1034678.1034679. ISBN 1-55860-609-2. http://people.ischool.berkeley.edu/~hearst/papers/acl99/acl99-tdm.html. 

Dış bağlantılar[değiştir | kaynağı değiştir]