- tweet
-
Birçok farklı veri ambarı modelinin olduğunu biliyoruz.Bunlar arasında en çok tercih edilen yapı ise staging alanı olan veri ambarı yapıları.
Bu veri ambarı modelinde kaynak sistemlerden gelen veriler geçici bir alanda tutulur.Bu evreleme aşamasında tutulan veriler daha sonra veri ambarlarına aktarılır.Staging alanının gerekliliğini iyi anlamamız gerekir.Veri ambarlarına gelen verilerin direk kaynak sistemden aktarılması maliyet ve performans açısından iyi değildir.Kaynak sistemden gelen verilerin staging alanında bekletilmesi,toplanması hem gereksiz I/O sorununu ortadan kaldırır hemde kaynak sistemden veri aktarılırken olabilecek hatalar sonucunda veri ambarı yapısının bozulmasının önüne geçilmesini sağlamış oluruz.
Kaynak sistemlerden gelen verilen nihai toplamı bu alanda gerçekleştirilir.Böylece zaman derinliğide korunmuş olur.Melez bir yapıdadırlar.Veri kalıcılığının bu aşamada başlaması bazı kurallarıda beraberinde getirir;
Öncelikle bunun için oluşturacağınız takımda bu alanda sorumlulukları paylaştırmak ve staginig alanınızın sınırlarnın belirli olması gerekmektedir.Kullanıcıların bu alana erişimi kısıtlanmalı ve gereksiz bilgileri görmesi,yetkisi olmayan verileri görmesinin önüne geçilmelidir.Farklı kaynak sistemlerinde farklı yetkiye sahip olan bu kullanıcılar bu alanda tüm veriler toplandığı için kendi birimiyle alakasız verileride görüyor olacaktır.
Bu alanda raporların alınmaması gerekmektedir. Alınacak raporların doğruluğunu anlamak çok zordur.Verinin analizlerinin yapılması ve ETL süreçlerinden geçtikten sonra anlamlı hale gelebileceğini düşünürsek bu alandan rapor almak çok tehlikelidir.
Staging Alanındaki Genel Bilgiler ;
Tablo İsmi: Herhangi bir tablonun veya dosyanın ismi staging alanına gelirken belirtildiği kısımdır.
Stg.hesap_tablosu
Güncelleme Stratejisi: Kaynak alanlardan gelen tabloların staging alanlarında nasıl tutulduğu gösterir.Bazı tablolar truncate/load olurken bazıları insert/delete olabilir.Veya bazı tablolar historik olduğu için sadece insert olabilir.
Yükleme Zamanı: Bu tablonun güncelleme,veri yükleme sıklıklarını belirtir.Bazı tablolar günlük yüklenirken bazıları aylık bazıları haftalık veya gelen istekler üzerine yükleme işlemi gerçekleşebilir.
ETL Jobları : Staginig alanındaki tabloların doldurulması veya güncellenmesi belli joblar sayesinde olur.Bu joblar gecelik,haftalık veya aylık çalışabilir.
Data Miktarı: Tablonun ilk yüklendiğindeki data miktarını bilmemiz gerekebilir.Veri ilk yüklendiğinde kaynak sistemdeki data miktarı kadardır.Daha sonra tablonun hangi biçimlerde load olduğuna göre data miktarı değişecektir.
Ortalama Satır Uzunluğu: Tablo hakkında ortalama satır uzunluklarını bilmek tablonun db de ki konumu için önemlidir.Bu alanlara göre performans ve ihtiyaçlar belirlenebilir.
Büyüme Biçimi: Tablonun hangi durumlarda büyüdüğünü gösteririr.Yeni bir müşteri bilgisi geldiğinde,yeni bir veri seti geldiğinde neler yapılacağı not edilir.
Aylık beklenen satır artış miktarı: Kaynak sistemden alınan bu verilerin aylık artış miktarları tahmin edilecek dba ler ile ortak bir alan çıkartılmalıdır.Ki ilerde tablespacelerin dolu olması veya diskte yer kalmaması durumları olmasın
İlk Tablo Boyutu: Tablonun ilk oluştugunda kullandığı alanı ifade eder.
6 aylık tablo boyutu: Tablonun 6 sonra ki büyüme miktarı hesaplanarak buna uygun yapı gerçekleştirilir.
Bu anlattığımız yapılar genellikle dba lerin konuları arasına giren,veritabanı mimarisini oluşturmaya yönelik yöntemlerdir.Veri ambarı kurulumunda bunlara dikkat etmek ve koordineli bir şekilde çalışmak şarttır.
Veri ambarı mimarı olarak performans ve optimum çözümler için neler yapılması gerekiyor,dosyaların,oluşacak olan tabloların yapıya uygunluğu ve gelecekteki durumları önceden belirlenip,tahmin edilip buna göre mimarının oluşturulması gerekiyor.
Staging yapısını kısaca bu şekilde özetleyebiliriz.Bu alanın doğruluğu veri ambarının doğrulu ile neredeyse eşdeğerdir.Çok önem verilmesi ve üzerinde çok düşünülüp modellemesi doğru şekilde yapılması gereken bir alandır.
Kaynak:
http://www.amazon.com/Mastering-Data-Warehouse-Design-Dimensional/dp/0471324213/ref=sr_1_1?ie=UTF8&qid=1368019419&sr=8-1&keywords=inmon+dwh
