Datawarehouse Sistemlerine Genel Bakış

Bu makalemde Datawarehouse sistemlerine genel bir bakış ve sistemler arasındaki farklardan bahsetmek istiyorum.

 

Öncelikle şu soruyu soralım “ Şirketler neden datawarehouse ortamları kurmaya çalışırlar ? ” Bu sorunun birçok yanıtı olmakla beraber; anlık bilgiden tarihsel derinliği olan veriye ulaşabilmek,konu-mekan-zaman bazlı  raporlar alabilmek için altyapı oluşturmak,veri güvenliğini sağlamak,geleceğe yönelik analizler yapabilmek..vs sıralayabiliriz.

 

DW sistemleri ile OLTP(Online Transaction Processing) sistemleri ;

Burada Oltp sistemleri ile Data Warehouse sistemleri arasındaki farktan biraz bahsedecek olursak OLTP sistemlerde anlık veri işlemeye dayalı hedefler gözetilirken Datawarehouse sistemlerinde toplu bir güncelleme olacaktır.OLTP sistemler anlık(haftalık ve günlükte olabilir) güncelleme-silme-ekleme yapılabilir.DW sistemlerinde ise bu aylık(3-6 aylık) veya yıllık olabiliyor.

 

 

Datawarehouse Mimarileri

 

1-Her şirketin kendine özgü DW mimarisi bulunmaktadır.Fakat genellikle mimariler birbirine benzer.Aşağıdaki resimde basit bir DW mimarisi nasıl olması gerektiği gösterilmiştir.

Bu mimaride çeşitli kaynak sistemlerinden verilere,veriambarı üzerinden doğrudan ulaşabilirsiniz.Verilere ait metadata(verinin bilgisi bknz:https://datawarehouse.gen.tr/Makale.aspx?ID=387&seo=meta-data-nedir-) ,raw data(verinin işlenmemiş-düzensiz  hali) ve MV lerden oluşan bir veriambarı bulunmakta.Bu veriambarında rapor almak,analiz yapmak ve geleceğe yönelik data mining çalışmaları yapmak çok zordur.

 

2-Aşağıdaki yapıda ise diğer yapıya ek olarak ;verileri temizlemek –depolamak ve işlemek için kullanılan bir Staging alan eklenmiştir.Günümüz veriambarları mimarisine yakın dizayn edilmiştir.Bu veriambarının yönetiminini ve performansını olumlu yönde etkileyecek bir mimaridir.Fakat hala raporlama aşamasında zayıftır.

 

3-Aşağıdaki  günümüz veriambarlarında kullanılan mimari görülmektedir.Sağ tarafta görüldüğü gibi data martlar sayesinde hem iş yükü azaltılmış hem performans kazanılmış hemde burdan alınacak raporlar daha kolay ve ulaşılabilir olmuştur.Ve bu analizlerden oluşabilecek mining çalışmaları daha doğru sonuçlar vermesi beklenecektir.

 

 

Bu resimlerde belirtilmeyen Datawarehouse sistemlerini oluşturan birçok öğe vardır.Oluşturacağınız tablo yapısı (fact-dimension-relationship tables) ,tablo üzerinde oluşturacağınız partition yapısından tutunda ETL döngüsündeki herbir adım çok önemlidir.Bir sonraki makalemde bunlara değilmek istiyorum.

Son olarak,  unutmamamız gereken en önemli şey kendi veriambarımızı ihtiyaçlarımıza göre dizayn etmeli ve  optimum çözümleri bulmalıyız.

Faydalı olması dileğiyle..