Veri Ambarı verimliliği, kar oranlarını ve rekabet avantajlarını korumak için şirketler açısından çok büyük bir öneme sahiptir. Şirketler verileri internet, çağrı merkezleri, satış merkezleri, döküm yönetimi gibi birçok kaynaktan alır. Veriler toplanırken Data Life Cycle Management(Veri Yaşam Döngüsü Yönetimi) denilen konveyör banttan geçirilir.
Şirketin veri yaşam döngüsü yönetimi politikaları veri ambarının tasarımını ve yöntemlerini şekillendirir.
Şekil 1. Veri Ambarı Yapısına genel bir bakış
PRE-Data Warehouse
Bu aşama, asıl data warehouse tarafına veri sağlayan aşamadır. Burada dwh tasarımcıları hangi verinin hangi iş birimine gireceğine açıklık getirirler.
OLTP veritabanları operasyonel verilerin saklandığı veritabanı sistemidir. OLTP veritabanları, Kurumsal Kaynak yönetimi, Tedarik Zinciri, Satış YÖnetimi, Müşteri Hizmet Yazılımları gibi projelerde bulunabilir.Bu tarz database'ler işlem hızı ve doğruluğu için dizayn edilirler.
Metadata, verinin yaşam döngüsüne girilmesindeki doğruluğu sağlar ve veri ilişkilerinin, formatının doğruluğunu sağlar.
Data Cleansing
Veriler veri ambarına girmeden önce ETL sürecinde data quality eşiğini geçer. Burada verilerin ne şekilde kullanılacağı netleştirilir istenilen formata sokulur. Mesela marangozun masa yapmaya başlamadan önce ağacı yontup masanın ayaklarını gövdesini oluşturması gibi düşünülebilir.
Ayrıca ETL, verinin scheduled olarak da OLTP veritabanından extract edilmesinden sorumludur.
Data Repositories
Data Repository ler(veri depoları) iş kapsamının aktif verisini saklarlar. The Data Warehouse modeling design(Veri ambarı model tasarımı), veri analistleri için optimize edilmiştir.
DWH' ın data warehouse, data mart ve ODs gibi varyantları vardır. Data Mart kavramı fiziksel olarak data warehouse'dan farklı bir kavram değildir.Şöyle açıklanabilir ki data mart' lar dwh' ın iş birimlerince kategorize edilmiş halidir. Mesela A şirketi için bir data warehouse kavramı varsa, Bu kapsamda IK için, Pazarlama için, IT için ayrı ayrı data warehouse gibi data martlar vardır.
Data Warehouses(Veri Ambarları), veriyi toplar ve geçmiş veriler için bir depo teşkil eder. Bu yüzden sürekli güncel analiz için verimli değildir.İşte tam burada ODS(Operasyonel data store) devreye girer. ODS, verilerin datawarehouse'a girmeden önceki son halini saklar.
ODS, OLTP den derin geçmişi olan verileri saklamak için kullanılır.OLTP sistemlerde Büyük miktarda veri saklamak kaynak kısıtına ve işlem yavaşlığına yol açar.
Front-End Analysis
DWH ın en kritik ve son aşaması Front-End Analysis kavramıdır. Burada kullanıcılar repository'lerde depolanmış veriyle etkileşim halinde çalışırlar.
Veri madenceiliği, verinin en faydalı kullanım yolunu keşfetmektir.Veri madenciliği tahmin analizleri ve sınıflandırması için kullanılır. Mesela bir müşterinin rakip firmaya kayma sebeplerinin analizi gibi.
OLAP(Online Analytical Processing), geçmiş verilerin ve gerekli iş bilgilerinin parça parça, istenilen bazda analizini sağlar. Bu modül en çok pazarlama yöneticilerince kullanılır. Veriyi en işe yarar şekilde kullanmak için OLAP çok önemli bir faktördür. OLAP ve OLTP raporlarına şöyle bir örnek verirsek sanırım ayrım daha net anlaşılır :
OLTP : Şirketin kaçtane müşterisi var?
OLTP : Şirketin, yıl bazında belli yaş grupları arasındaki 2000 liranın üzerinde alışveriş yapan müşterilerinin bölgesel dağılımı. gibi..
Raporlama araçları(reporting tools) veriler hakkındaki raporları sağlamak için kullanılır, veriler iş ve performans göstergelerinin takibi arasındaki ilişkiyi göstermek için görüntülenir.
Veri görselleştirme araçları(Data Visualization tools) ise veri deposundan veri görüntülemek için kullanılır. Genelde veri madenciliği ve OLAP tool ları ile birleştirilir. Veri görselleştirmesi kullanıcıya verilerin birbirleriyle ilişkisini, mimarisini göstermek için işlemesine olanak sağlar.
