Büyük veri

Vikipedi, özgür ansiklopedi
Atla: kullan, ara
IBM tarafından Vikipedi için yapılmış ve değiştirmeleri gösteren görselleştirme. Birçok terabyte büyüklüğünde resim ve yazılardan oluşan bu veri, büyük veri için klâsik bir örnektir.

Büyük Veri[değiştir | kaynağı değiştir]

Geçmişten günümüze kadar gelen süre içerisinde bilgi günden güne artmıştır hatta son yıllarda katlanarak günümüze gelmiştir.Bunun sonucunda "Bilgi Çöplüğü" diye tabir ettiğimiz olgu günyüzüne çıkmıştır. Birçok yazılım şirketleri bu konuyla ilgili ar-ge çalışmaları yaptıktan sonra Big Data(Büyük Veri) olgusu karşımıza çıkmıştır.Büyük veri; toplumsal medya paylaşımları, ağ günlükleri ,bloglar, fotoğraf, video, log dosyaları v.b. gibi değişik kaynaklardan toparlanan tüm verinin, anlamlı ve işlenebilir biçime dönüştürülmüş biçimine denir. Olageldiği gibi, ilişkisel veri tabanlarında tutulan yapısal verinin dışında kalan, son dönemlere dek çok da kullanılmayan, yapısal olmayan veri yığınıdır. Artık yıkılmış olan yaygın bilişimci inanışına göre, yapısal olmayan veri, değersizdi, ama büyük veri bize bir şey gösterdi o da günümüzdeki bilgi çöplüğü diye adlandırılan olgudan muazzam derecede önemli, kullanılabilir, yararlı yani çöplükten hazine çıkmasına neden olan yegane sistemdir.Büyük veri; web sunucularının logları, internet istatistikleri, sosyal medya yayınları, bloglar, mikrobloglar, iklim algılayıcıları ve benzer sensörlerden gelen bilgiler, GSM operatörlerinden elde edilen arama kayıtları gibi büyük sayıda bilgiden oluşuyor.

Büyük veri, doğru analiz metotları ile yorumlandığında şirketlerin stratejik kararlarını doğru bir biçimde almalarına, risklerini daha iyi yönetmelerine ve innovasyon yapmalarına imkan sağlayabiliyor.

Şirketlerin çoğu, halen konvansiyonel veri ambarı ve veri madenciliği yöntemleriyle elde ettikleri datalardan yola çıkarak, karar almaya devam ediyorlar. Ancak, tüketici eğilimlerini dinamik şekilde öngörebilmek, büyük veriyi analiz edebilmekten ve bu analizlere göre hareket edebilmekten geçiyor.Büyük veri, geleneksel veritabanı araçları ve algoritmaları ile işlemsi zor olan bu büyük verinin oluşturulması, saklanması, akışı, analiz edilmesi gibi birçok konuyu içeren bir terim olarak karşımıza çıkmaktadır. Veriler klasik veritabanlarının kaldıramayacağı büyüklükte olduğu gibi verinin büyüme hızı da bir bilgisayar veya bir veri depolama ünitesini aşmaktadır. 2012 rakamları ile dünyada günlük 2.5 Kentirilyon byte veri üretilmektedir. Bu çapta büyük veriyi işleme, transfer etme gibi işlerin tümüne Büyük veri (Big Data) adı verilmektedir.

Günümüz veritabanları bu çapta büyüyen verileri tutmakta yeterli değildir. İlişkisel veritabanları gigabyte seviyesinde veri tutabilirken, büyük data ile petabyte seviyelerinde veriler saklayabiliriz. Ancak büyük data sadece yığın işleme(Batch) işlemleri için uygundur. Transactions gibi gelişmiş veritabanlarında kritik öneme sahip özellikler yoktur. Veritabanları okuma, yazma güncelleme gibi işlemleri transactionlar aracılığı ile yapabildiği için bu işlemler atomik olarak kabül edilir ve çeşitli kilitleme mekanizmaları ile verinin birden fazla işlem tarafından değiştirilerek tutarsızlaşması engellenir. Büyük veri bir kere yazılıp defalarca okuma işlemi yapıldığı duruımlarda kullanılması gerekir. Çünkü veriler birden fazla yerde paralel olarak işlenir.Bu büyüklükte veri RFID sensörlerinden, sosyal medyaya, hastanelere kadar birçok alanda üretilmektedir. DNA dizilişlerinin analizi, hava durumu sensörlerinden gelen veriler başta olmak üzere verileme işlemlerinin yapıldığı birçok alanda büyük veri bir ihtiyaç olarak karşımıza çıkmaktadır.

Büyük Veri İçerisindeki Veri Bileşenleri[değiştir | kaynağı değiştir]

Büyük veri platformunun oluşumunda beş bileşen vardır. Bunlar; variety, velocity, volume, verification ve value 'dir. Genel olarak 5v diye açıklandığı için ingilizce karşılıklarına yer verilebilinir.

  • Variety (Çeşitlilik): Üretilen verinin yüzde 80’i yapısal değil ve her yeni üretilen teknoloji, farklı formatlarda veri üretebiliyor. Telefonlardan, tabletlerden, bütünleşik devrelerden gelen türlü çeşitlilikte “Veri Tipi” ile uğraşılması gerekiyor. Bir de bu verilerin farklı dillerde, Non-Unicode olabileceğini düşünürseniz, bütünleşik olmaları, birbirlerine dönüşmeleri de gerekli.
  • Velocity (Hız): Büyük Veri’nin üretilme hızı çok yüksek ve gittikçe artıyor. Daha hızlı üreyen veri, o veriye muhtaç olan işlem sayısının ve çeşitliliğinin de aynı hızda artması sonucunu doğuruyor.
  • Volume (Veri Büyüklüğü): IDC istatistiklerine göre 2020’de ulaşılacak veri miktarı, 2009’un 44 katı olacak. Şu anda kullanılan, “büyük” diye adlandırdığımız kapasiteleri ve “büyük sistemleri” düşünüp, bunların 44 kat büyüklükte verilerle nasıl başa çıkacaklarını hayal etmek gerekiyor! Kurumun veri arşivleme, işleme, bütünleştirme, saklama vb teknolojilerinin bu büyüklükte veri hacmi ile nasıl başa çıkacağının kurgulanması gerekiyor. 2010'lu yıllarda dünyadaki toplam bilişim harcamaları yılda %5 artmakta, ancak üretine veri miktarı %40 artmaktadır.
  • Verification (Doğrulama): Bu bilgi yoğunluğu içinde verinin akışı sırasında “güvenli” olması da bir diğer bileşen. Akış sırasında, doğru katmadan, olması gerektiği güvenlik seviyesinde izlenmesi, doğru kişiler tarafından görünebilir veya gizli kalması gerekiyor.
  • Value (Değer): En önemli bileşen ise değer yaratması. Bütün yukarıdaki eforlarla tariflenen Büyük Veri’nin veri üretim ve işleme katmanlarınızdan sonra kurum için bir artı değer yaratıyor olması lazım. Karar veriş süreçlerinize anlık olarak etki etmesi, doğru kararı vermenizde hemen elinizin altında olması gerekiyor. Örneğin sağlık konusunda stratejik kararlar alan bir devlet kurumu anlık olarak bölge, il, ilçe vb detaylarda hastalık, ilaç, doktor dağılımlarını görebilmeli. Hava Kuvvetleri, bütün uçucu envanterindeki taşıtlarının anlık yerlerini ve durumlarını görebilmeli, geriye dönük bakım tarihçelerini izleyebilmeli. Bir banka, kredi vereceği kişinin, sadece demografik bilgilerini değil, yemek yeme, tatil yapma alışkanlıklarını dahi izleyebilmeli, gerekirse sosyal ağlarda ne yaptığını görebilmeli.

Büyük Verinin Uygulandığı Örnekler[değiştir | kaynağı değiştir]

İnternetin çok defa fazla kişi tarafından kullanılır olması, günlük yaşamda aldığımız hizmetlerin, internet üzerine taşınan uygulama yazılımları yoluyla kolayca erişilebilir olması nedeniyle oluşan yaygın kullanım, özellikle hizmet sektöründe satış sonrası müşteri memnuniyeti sağlama ereğine yönelik olarak, son kullanıcıların her türlü bilgisinin firmalarca alınıp saklanması sonucunu doğurdu. Saklanacak ayrıntılı bilgilerin, üzerinde tutulacağı sayısal ortamlarda başgösteren "yer darlığı" yeni arayışlar için başlangıç oldu. Son birkaç yılda öne çıkan yeni yapıyı özetlersek: İşletmeler; müşterilerini daha iyi tanıyıp, onlara "bireyselleştirilmiş - kişiye özel" hizmetleri sunabilmek için onlarla ilgili çok sayıda bireysel bilgiyi saklamak durumunda kalmaktadır.

  • Hastaneler; hastalarına yönelik etkili, bireysel, kişiselleştirilmiş, tıbbi hizmetler sunabilmek için, bireysel bazdaki verileri kendi sayısal ortamlarında depolamaktalar.
  • Hükümetler; yurttaşlarına yönelik bilgi ve hizmetleri işleyip, saklama konusunda oluşan çok büyük ölçekli veri ile çalışmak zorundadırlar. Örneğin, RTÜK kararları gereği, ülkemizdeki televizyon kanallarının son bir yıllık yayınlarını saklama zorunluluğu var. Saklanacak bilgiler, "Büyük Veri" olarak tanımladığımız türden.
  • İnternet üzerindeki üretici ve tüketicilerin veri üretimini hızlandırması, başta servis sağlayıcı firmalara olmak üzere, büyüyen bilgiyi harmanlayıp, anlamlı biçime dönüştürerek kullanıma yeniden sunma görevi yüklüyor.
  • Bankalar, müşterileriyle ilgili olarak toplayıp sakladıkları bilgiler yoluyla, kullanıcısını tanıyan, internet şubesine o gün ne için girdiğini bilen ve buna göre ana sayfayı, menüyü en etkin hale getiren, müşterisine hatırlatmalar yapan, özelleştirilebilir arayüzler sunan, zengin içerikli, hızlı ve kullanışlı bir 7/24 şube haline geldi.
  • Enerji firmaları, akıllı şebeke ve sayaçlar kullanarak, abonelerinin bireysel kullanımlarıyla ilgili oluşan verileri, saklayıp, işlemek durumundalar.
  • İlaç sanayisinde; örneğin "kanser araştırmaları" için oluşturulan büyük genomik veritabanları, araştırmacıların sürekli erişimine açık olmak durumundadır.

Ek olarak; Uydu/Harita Dizgeleri (GPS), Akıllı Gezgin Telefonlar (GSM), çok yüksek çözünürlüklü fotoğraflar çekebilen yeni nesil kameralarla üretilen, ses ve görüntü bilgileri; saklama ortamlarının sınırlarını zorlayıp, verimliliklerini düşürüyor. Her türlü gezgin aygıtlar üzerinde çalışabilen, internet tabanlı yazılım ve uygulamalarca üretilenlerle birlikte, Facebook, Twitter gibi toplumsal medya ortamlarında kullanıcılarca üretilen bilgilerin saklanması gereği, bilişim konusu ile ilgili girişimcileri de, Büyük Veri alanına itti. Saydığımız, bu hemen usumuza geliveren örnekler ve benzerlerince üretilen; işlenmesi, saklanması ve irdelenmesi önceki nesil veritabanlarından ayrımlı yöntemler gerektiren büyük ölçekli verilere, kısaca Büyük Veri'ye odaklanıyoruz artık.

Gelecekte[değiştir | kaynağı değiştir]

"İçinde bulunduğumuz Büyük Veri çağında yatırımcılar, teknoloji girişimcileri, medya ve danışmanlık şirketleri Büyük Veri konusuna odaklanarak, yeni fırsatlar yakalıyor. Bulut Barındırma çözümlerinin basitleşip ucuzlayarak genele yayılması, veri işleme konusundaki ekonomik dengeleri temelden değiştirdi. Yakın geleceğin en önemli teknoloji piyasasının Büyük Veri üzerinde oluşması, önümüzdeki beş yıl içinde de bu pazarın elli milyar doları aşması bekleniyor. Dünya çapında yıllık veri hacmindeki büyüme %59 ve büyümenin artarak devam etmesi bekleniyor. Bu büyümenin merkezinde hem geleneksel hem de yeni veri kaynakları yatıyor. IDC dijital kayıtların bu sene sonunda 1.2M Zetabytes (1021bytes)’a ulaşacağını, önümüzdeki on sene içinde de 44 katına çıkacağını tahmin ediyor. Bir önceki paragrafta bahsettiğimiz büyümenin asıl kaynağı yapısal olmayan verilerden geliyor. Yapısal olmayan verilerin yaklaşık %80′nin değersiz olduğuna dair mit ise gerek arama motorlarının gerekse de e-ticaret yapan kurumların tıklama verisini takip ederek ulaştıkları başarı sonrasında çürütülmüş görünüyor. Asıl gereksinim ise yapısal ve yapısal olmayan verinin saklanması, beraberce analiz edilerek, veri madenciliği işlemlerine tabi tutulması.

Büyük Verinin Artmasının Nedenleri[değiştir | kaynağı değiştir]

1980 lerde ürünün çok daha önemli olduğu zamanlarda, şirketlerin asıl amacı belirli bir ürünü üretmek ve müşteriye ulaşımını sağlamaktı.Bu yıllarda ERP sistemlerinin ön planda olduğunu görüyoruz. ERP(Enterprise Resource Planning) sistemlerinin geliştirilmesindeki asıl amaçlardan bazıları; müşteri, dağıtım merkezi, tedarikçiler ve üretimi bir platformda toplamaktı. Bir zamanlar çok popüler olan bu sistemde doygunluğa ulaşıldığında insanlar şu soruyu sormaya başladılar “benim için doğru müşteri kimdir?”

CRM sistemlerinin doğuşu da bu soruyla başladı denilebilir, CRM (Customer Relationship Management-Müşteri ilişkileri Yönetimi)'in asıl ilgilendiği nokta “Doğru ürün ya da hizmeti, doğru müşteriye, doğru fiyatla, doğru kanalda, doğru yerde ve zamanda sunmaktır.“ Yani artık ürüne göre müşteri değil, müşteriye göre ürün devri başlamıştır. Son 10 yıldır yükselen değer olan bu metodoloji giderek önemini arttırmaktadır.

Veri miktarı oluşumundaki hızlı artışın temel nedeni ise sosyal ağ etkileşimlerinin büyüyen hacmi, lokasyon duyarlı cihazların artması ve fiziksel dünya hakkında bilgi yakalayan ve ileten "akıllı sensörler"in sayısındaki artış olarak özetlenebilir. Tabi ki bunlara video ve medya kaynakları da eklenebilir.

Kaynaklar[değiştir | kaynağı değiştir]

  1. Yılmaz Ersöz, "Bulut Barındırma", TDD S.149, Mart 201 (Bu kaynak esas alınmıştır.Diğer kaynaklardan yararlanılmış ve yorumlanmıştır)
  2. Kusnetzky, Dan. "What is "Big Data?"". ZDNet^ Cukier, K.
  3. (25 February 2010). "Data, data everywhere". The Economist.
  4. M2M - Machine to Machine - Aracıya gerek duymayan Aygıttan Aygıta iletişim, YE
  5. İş analitiği çözümleri 2012 presentation.Cüneyt Göksu httpwww.slideshare.netCuneytGoksubig-data-nedir-ve-ibm-zmleri
  6. Big data impaxt in the World
  7. Big data
  8. http://blog.microsoft.com.tr/buyuk-veri-nedir.html 15.12.2013
  9. http://www.karel.com.tr/blog/buyuk-veri-big-data-nedir-uygulamalar-ve-firsatlar-yonetici-ozeti 15.12.2013
  10. - See more at: Arslan,Yusuf.(06 Aralık 2013) big data-büyük ver.Erişim tarihi(19.12.2013) , http://datawarehouse.gen.tr/big-data-buyuk-veri/#sthash.J1S7fbd3.dpuf
  11. Bilge,Elif.(25 nisan 2013) büyük veri nedir ?.Errişim Tarihi (26.12.2013),http://elifbilgeeder.blogspot.com/2013/04/buyuk-veri-nedir.html
  12. Ökan,Erencan.(8 ağustos 2013) büyük veri . Erişim Tarihi (12.12.2013),http://www.erencanozkan.com/2013/08/buyuk-veri-big-data-ve-map-reduce.html