Günümüzün gözde konularından birisi “big data” . Bu kavramın bu kadar çok konuşulmasının asıl nedeni şüphesiz günümüzde katlanarak artan veri ihtiyaçlarıdır. 2000 yılında 800 Terabaytes olan veri kapasitesi bugün 2.7 Zettabytes’tır.Bu verinin ne kadar büyük olduğuna bakmak için aşağıdaki dönüşüme bakabiliriz.
Bu verilerin 2020 yılında 35 Zettabytes olması bekliyor.Tabi gelecekte facebook ve twitter gibi olağanüstü veri üreten siteler açılmazsa J Bir twitter uygulamasından bir günde 7 Tb veri üretiliyor.Aynı şekilde facebooktan 10 Tb veri üretilemekte.Peki bu veriler nasıl veriler ?
Resim,Video,Ses ve Text verilerinden oluştuğunu düşündüğümüz bu sistemin arkasında aslında birçok veri çeşidi mevcut.Buna web -blog sitelerindeki bilgiler,oyun verileri,medikal verilerin tüm çeşitleri,uydu görüntüleri, erp sistem verileri,veritabanları,veri ambarları..vb tüm kullandığımız veri çeşitleri bulunmaktadır.
“Big Data” ‘ya nasıl geldik ?
1980 lerde ürünün çok daha önemli olduğu zamanlarda , şirketlerin asıl amacı belirli bir ürünü üretmek ve müşteriye ulaşımını sağlamaktı.Bu yıllarda ERP sistemlerinin ön planda olduğunu görüyoruz. ERP(Enterprise Resource Planning) sistemlerinin geliştirilmesindeki asıl amaçlardan bazıları ;müşteri,dağıtım merkezi,tedarikçiler ve üretimi bir platformda toplamaktı.Bir zamanlar çok populer olan bu sistemde doygunluğa ulaşıldığında insanlar şu soruyu sormaya başladılar “benim için doğru müşteri kimdir ?”
CRM sistemlerinin doğuşuda bu soruyla başladı diyebiliriz CRM (Customer Relationship Management-Müşteri ilişkileri Yönetimi) in asıl ilgilendiği nokta “ Doğru ürün ya da hizmeti, doğru müşteriye, doğru fiyatla, doğru yerde ve zamanda sunmaktır. “ Yani artık ürüne göre müşteri değil ,müşteriye göre ürün devri başlamıştır.Son 10 yıldır dünyada ,son 5 yıldır’da ülkemizde revaçta olan bu metadoloji giderek önemini arttırmaktadır.
İş Zekası doğuyor..
CRM ile çok yakından ilişkili olan iş zekası kavramında amaç veri ambarlarındaki ham veriyi işleyerek şirketler için anlamlı hale getirmek , kampanyalar yapmak,raporlar oluşturmak ve karar destek sistemlerine yardımcı olabilmektir. Yani kişiye özel kampanyalar çıkarıp,ideal müşterilerinizi bulabilir ve geleceği tahminleyebilirsiniz.
Bu kadar büyük çaplı verilerin hergün toplanması,depolanması ve işlenilmesi şüphesiz çok büyük veri ambarlarında olacaktır.Günümüz veri ambarları bunları yapabilecek güçteydi.Taki “social data” kavramı ortaya çıkana kadar.
Şirketler artık sizin hangi telefon kullandığınızı ,ne için kullandığınızı,nerede olduğunuzu , ne yiyip ne içtiğinizi,hangi araba kullandığınızı..vb (ve aslında ne yaptığınızı! ) çok merak ediyor.Sosyal medya sitelerinden paylaştığınız her veriyi çok önemsiyor ve bu verileri işlemek için sosyal medya veritabanları kuruluyor.Yani müşteriye özel paylaşım ,müşteriye özel kampanyalar için sizi ve çevrenizdeki herşeyi bilmek istiyorlar.
“Big Data” geliyor..
Yazımızın en başında belirttiğimiz, video,ses,görüntü,text..vb veri çeşitlerini günümüz veritabanı ve veri ambarı sistemleriyle incelemek ve verileri işlemek gerçekten çok zor.İşte bu noktada hayatımıza yeni bir kavram giriyor “Big Data”
“Big data” ; bu verileri toplayarak bunlardan anlamlı bir bütün oluşturmak ve bu verilere göre bir karar vermektir.Günümüz veri tabanlarından farkı ise çok daha çeşitli veriye( çok yüksek miktardaki verilere bile ) anında ulaşmak ve çok daha hızlı analizler yapmaktır.
Hadoop, JAQL, HBASE ,NOSQL kavramları big datanın ilgi alanındaki teknolojilerdir..2020 yılında yapısal olmayan verilerin ,yapısal verilere oranı 9 kat daha fazla olacağını düşünürsek bu kavramı çok uzun süreler daha duyabiliriz.
Büyük Veri kavramı beraberinde ;güvenlik sorunları ,erişim ihlalleri ,daha büyük veri ambarları –veritabanları ile geliyor.Şirketlerin ve üreticilerin bu kavrama teknik bakış açılarını yazmaktan kaçınarak sadece kavramsal anlamda bilgi vermeye çalıştım.
Bir sonraki yazımızda teknik olarak inceleyeceğiz..
Kaynaklar;
http://en.wikipedia.org/wiki/Big_data
http://www.mckinsey.com/insights/mgi/research/technology_and_innovation/big_data_the_next_frontier_for_innovation
http://www.informatica.com/us/vision/harnessing-big-data/