ETL Programı almalı mı, almamalı mı?

Veritabanı seçimi yapılırken, analitik bir değerlendirme yapılmaya çalışılsa da, seçenekler, yöneticilerin başkalarından duyduğu teknolojilerle şekilleniyor. Bu kişisel bilgilerin de birçoğu veritabanları daha tam oturmamışken oluşan önyargılarla şekilleniyor. Sorumluluğu minimuma indirmek için, yapılan işin ne olduğundan çok satış elemanlarının ön plana çıkardığı noktalar göz önünde bulunduruluyor. Aslında bunu başlı başına başka bir yazıda ele almak gerekli. Bu yazıda ETL programı seçimi konusunda sorulması gereken sorulardan bahsedeceğim. Konu zaten sorular olduğu için, yazının sorular üzerinden ilerleyeceğini şimdiden belirtmek isterim. İ

lk olarak sormam gereken soru şudur, “bu tercih edilen veritabanıyla tam olarak entegre çalışabilecek bir program mevcut mu?” Bu programı kullanan bir ETL çalışanına sorulması gereken soru ise, program bize elle yazılan koda göre ne gibi bir avantaj sağlayacak? Eğer bu iki sorunun cevabı bizi tatmin ediyorsa programın işe yarayacağı net olarak ortadadır. Öbür taraftan cevabın net olmaması ise projeden beklentiyi belirler. “Ne kadar esnek olmayı planlıyorsunuz?” sorusu aslında “hangi sorumluluklardan kaçmayı, hangi sorunlara göğüs germeyi göze alıyorsunuz?” sorusunun cevabına paralel olacaktır. Eğer kaynak sistemlerden alınan veriyi test edip, kriterlerinize uymadığı noktada yöneticilerden yağacak email’lara karşı dimdik duracağınızdan eminseniz, bir ETL programı kullanılması kararını rahatlıkla verebilirsiniz.

Buna karşılık, eğer her gelen isteğe cevap vermek gibi bir yükümlülüğünüz varsa alınacak ETL programının esnek olmasına dikkat edilmesi gerek veya hiç almamak gerek. Yeterince esnek olmadığı için bir program almadığınızı düşünün. Bu durumda dikkat etmeniz gereken, program almayarak aslında gelecek her türlü teknik soruna çare bulabileceğinizi taahüt etmiş oluyorsunuz. Bu karar verilmeden önceki durumla, verildikten sonrası arasında çok büyük bir fark var. Program kullanma kararı verilince, işe alınacak personelin, programın sahip olduğu özellikleri ne kadar kullanabileceğine bakılmalı.

Misal, Oracle Data Integrator (ODI) kullanılmasına karar verilmişse işe alınacak kişilerin ODI kullanmayı bilmesi aslında tam olarak yeterli değil. ODI kendi içinde Jython kullanabilir, shell script’leri çalıştırılabilir, PL/SQL kodu kullanılabilir bir program. Programın avantajlarının tam olarak kullanılabilmesi için çalışanların bu teknolojileri bilmesi gerekli. Bir de bunların üzerine ODI’nin getirdiği ek paketler mevcut ki bu durumda mevcut çalışanların en az 6 aylık bir eğitim sürecine girmesi gerekmekte.

ODI sadece bir örnek. İster Pentaho olsun, ister Informatica ya da başka bir program, spesifik gereklilikler daima olacaktır. Buna karşılık program alınmadığı durumu düşünelim. Doğrudan kaynak veritabanlarına bağlanılmalı, işletim sistemi seviyesinde çıkacak sorunları çözmeli, gelecek geliştirme isteklerine cevap verebiliyor olmalılar. Sizin de farketmiş olacağınız gibi bilgi birikimi her iki seçenekte de oldukça gerekli. Bir program kullanılıyorsa, gerekli olan birikim tanımlanabiliyor (Jython, PL/SQL gibi). Ancak program kullanılmadığında engin bir bilgi birikimi ve bir o kadar da adapte olabilecek çalışanlar işe alınması gerekiyor. http://www.gna.com.tr/blog/ dan alıntı

Hasan Tonguç Yılmaz bey’in Turkcell bloğunda yeralan yazılarını izniyle paylaşıyor olacağız.Öncelikle tanımayanlar için Tonguç Yılmaz kimdir kendi yazılarından tanıyalım.

  

Liseyi Muğla / Fethiye Lisesi‘nde, Lisans eğitimini İstanbul Teknik Üniversitesi Bilgisayar Mühendisliği Bölümü (1994),  İstanbul Bilgi Üniversitesi İşletme Yönetimi (Yüksek Lisans – 1999) ve Işık Üniversitesi Sosyal Bilimler Fakültesinde (2003) almıştır. 1996′da TekstilBank Bilgi İşlem bölümünde Veritabanı ve Sistem Yöneticisi olarak görev almıştır. 2000 yılından bu yana Turkcell’de ORACLE geliştiricisi olarak birçok görev almıştır ve 2009 Eylül ayında Turkcell – Gelir Odaklı İş Zekası takımında göreve başlamıştır. 2008′den beri Turkcell  Veri madenciliği departmanında Oracle ETL geliştiricisi olarak görevine devam etmektedir.

 

Şimdide Başarılı Veritabanı İpuçlarına bir bakalım..

İster iş zekâsı veya bir veri ambarı projesi, ister müşteri ilişkileri veya bir kaynak yönetimi projesi olsun, konunun ana fikri bence veridir. Hazırlanan uygulamalar verinin manalandırılması için gerekeni yapmak için birer araçtır.

Veriler ise veritabanında yaşar, dolayısı ile başarılı bir veritabanı uygulaması hayata geçirmek için çalıştığınız veritabanının mimarisini ve özelliklerini doğru anlamak önemlidir.

Günümüz veritabanları lisansları içinde birçok hazır paket ile birlikte geliyorlar, müşterilerinizin isteklerini ve ihtiyaçlarını rekabete karşı hızla gerçekleştirmek için parasını ödediğiniz bu seçeneklerin neler olduğunun farkında olmak ve bu özellikleri kullanmak size önemli rekabet avantajı sağlar.

Yukarıdaki tespitlerimden yola çıkarak çalıştığınız veritabanına ve o veritabanının SQL diline hâkim olmanın önemine dört konu başlığı altında değinmek istiyorum:

1. Piyasadaki veritabanlarının sadece fiyatlandırmalarında değil, temel özelliklerinde bile ciddi farklılıklar gösterebileceğinin farkında olmanız gerekir.

Bu nedenle başarılı bir “veritabanı uygulaması”, veritabanı bağımsız araçlar ve yaklaşımlar ile bence gerçeklenemez. Veritabanı bağımsız uygulama geliştirme yaklaşımı, uygulamayı geliştiren şirketlerin daha fazla satış yapma potansiyeli olmasını desteklerken, müşterilerinin ciddi lisans maliyetleri ile sahip oldukları veritabanı kabiliyetleri ile ilgilenmez.

2. Verilerinizi işlemek için veritabanının ana dili olan SQL dilini anlamak ve verimli kullanmak gerekir. Dolayısı ile öncelikle SQL dilinin okullarda öğretildiği gibi sadece SELECT, UPDATE, DELETE ve INSERT cümlelerinden ibaret olmadığının farkında olmalısınız.

Bu farkındalık için bir süre okuma, araştırma ve geliştirme yapmanız gerekecek, bağlantısını verdiğim bu Türkçe video eğitim sizin Oracle SQL dili kabiliyetlerini anlamanız için iyi bir başlangıç olacak (teknik kısımların başlaması için 6,5 dakika kadar sabretmelisiniz ).

http://vimeo.com/2444390

3. Uygulamalarınızı tasarlarken ve gerçeklerken, veriyi işleyen kısımların satır-satır çalışmak yerine kümeler üzerinden çalışmasını sağlamalısınız. Tek bir SQL cümlesinin küme mantığı ile yapabileceği bir işi, hiç bir üst katman aracında daha verimli gerçekleyemezsiniz.

-- PL/SQL imleç: satır-satır işleme örneği

begin

        for x in (select * from t1)

        loop

           insert into t2 (c1,...) values (x.c1,...);

        end loop;

end;

 

-- SQL: küme işlemi örneği

insert into t2 ( c1, ... )

select c1, ....

  from t1

 where ....;

4. Uygulamalarınızı geliştirirken sorunlar yaşadığınızda veya sorularınız olduğunda kime güvenmelisiniz? Günümüzde Google üzerinden aratma yaparak bulamayacağımız cevap yok diyebiliriz, ama dönen bilgiler çok okunur olsalar da cidden güvenilir içeriğe sahipler denebilir mi?

Bu noktada sayılarla desteklenmiş olsa bile, hiç bir “uzman”ın size önerisini hemen satın almamanızı öneririm. Canlı ortamı temsil edecek nitelikteki kendi deneme ortamınızda(işletim sistemi sürümü, Oracle veritabanı sürümü, parametreleriniz, tablo ve dizin seçimleriniz, veri dağılımınız vs. size özeldir) önerilenleri mutlaka önce denemeli ve sonuçlarını çözümlemelisiniz.

Bu yazıda özetlemeye çalıştığım duruşum çevrenizdeki birçok kişi J2EE, SOA vs. gibi yeni teknolojileri karizmatik esas amaçlarmış gibi pozisyonlarken size eski hatta garip gelmiş olabilir, dolayısı ile tartışma potansiyeli yüksek olduğunu düşündüğüm bu yazımı sonlandırmadan önce siz okuyucuların değerli yorum ve tecrübelerini merakla beklediğimi belirtmek istiyorum.

Not: Aman SQL diline balık çizdirecek kadar kendinizi kaptırmayın, bu kadarı da cidden fazla

SQL> set pagesize 0

SQL> set linesize 3000

SQL> select     y "&_DATE" from dual model return updated rows

  2      dimension by (999 x) measures (lpad('x',200) y, 0 z)

  3      rules iterate (80)

  4      (

  5      y[for x from -10 to 10 increment 1] order by x=y[cv(x)]

  6      ||case when iteration_number<2 then 'X' when iteration_number<12 then

  7        case when abs(cv(x))between 10-iteration_number and 11-iteration_numb

er then 'X' else ' ' end

  8      when -.1+sqrt(power(iteration_number/3-14,2)+power(cv(x),2)) between 8.

5 and 10 then 'X'

  9      when iteration_number=55 and cv(x)=-3 then 'O'

 10     when iteration_number between 35 and 40 and cv(x)=3 then '/'

 11     else ' '

 12     end

 13     )

 14     order by x;

old   1: select     y "&_DATE" from dual model return updated rows

new   1: select     y "03/09/2009" from dual model return updated rows

XX                                    XXXXXXXXX

XXX                          XXXXXXXXXXXXXXXXXXXXXXXXXXX

XXXX                    XXXXXXXXX                   XXXXXXXXX

XX XX                XXXXXXX                             XXXXXXX

XX  XX            XXXXXX                                     XXXXXX

XX   XX         XXXXXX                                         XXXXXX

XX    XX       XXXXX                                             XXXXX

XX     XX     XXXX                                     O           XXXX

XX      XX   XXXX                                                   XXXX

XX       XX XXXXX                                                   XXXXX

XX        XXXXXXX                                                   XXXXX

XX       XX XXXXX                                                   XXXXX

XX      XX   XXXX                                                   XXXX

XX     XX     XXXX                 //////                          XXXX

XX    XX       XXXXX                                             XXXXX

XX   XX         XXXXXX                                         XXXXXX

XX  XX            XXXXXX                                     XXXXXX

XX XX                XXXXXXX                             XXXXXXX

XXXX                    XXXXXXXXX                   XXXXXXXXX

XXX                          XXXXXXXXXXXXXXXXXXXXXXXXXXX

XX                                    XXXXXXXXX

 

21 rows selected.

SQL>

Kullanılan Kaynaklar

 

Good SQL Practices, Stephane Faroult

http://www.roughsea.com/vids/SQL_Best_Practices.html

Expert Oracle Database Architecture: 9i and 10g Programming Techniques and Solutions, Thomas Kyte

http://asktom.oracle.com

The Burden of Proof, Jonathan Lewis

http://www.google.com.tr/url?sa=t&source=web&ct=res&cd=1&url=http%3A%2F%2Fnocoug.org%2Fdownload%2F2003-08%2Fburden_of_proof.ppt&ei=TKifSrr8DIr-mwOenKTqDw&usg=AFQjCNGpiFj1zI49P74qUAFuiQadPq-Q8g&sig2=DXTke412DfL0ySavQl5NBg

Obfuscated SQL contest, Oracle Community – Database Developers Group

http://www.oraclecommunity.net/forum/topic/show?id=1988559%3ATopic%3A3577 

http://blog.turkcell.com.tr/2009/09/18/veri-veritabani-basarili-veritabani-uygulamalari-icin-dort-oneri/

SQL Server Fast Track Data Warehouse, veri ambarı yol haritanızı SQL Server 2008  için yeni ölçeklenebilir referans mimarileri ile hızlandırır. Veri ambarı işlemleriniz için önceden test edilmiş donanım ve en iyi uygulamalar ile maliyetleri azaltın, zamandan tasarruf edin ve riski azaltın.

  

TEMEL ÖZELLİKLER

 

§  Veri ambarı yol haritanızı önceden test edilmiş donanım konfigürasyonları ile hızlandırın

§  Kullanıma hazır ve daha yüksek Veri Ambarı performansı ile donanım testlerini neredeyse ortadan kaldırın ve ayarlama işlemlerini azaltın

§  SQL Server 2008 Enterprise'daki sıkıştırma özelliklerini kullanarak gereksinim duyduğunuz yer kapasitesini azaltın

§  Daha iyi fiyat performansı, hızlı devreye alma ve endüstri standartlarında donanım ile daha düşük toplam sahip olma maliyetinden yararlanın

§  Dell, HP, Bull, IBM, EMC ve diğer öncü tedarikçilerden endüstri standartlarında donanım seçin

§  Kurumsal ihtiyaçlarınıza uygun olan doğru performans, ölçeklenebilirlik ve fiyatlandırmayı seçin

§  Sağlam bir şekilde geliştirilmiş en iyi uygulamalardan yararlanın

 

SQL Server 2008 Enterprise üzerindeki veri ambarınızı SQL Server Fast Track Data Warehouse ile ölçeklendirin. Geleneksel sistemlerin yüksek maliyeti olmadan yüksek performanslı, kurumsal sınıfta ve 32 terabayt'a kadar büyüklükte bir veri ambarı kullanın.

 

Kullanıma hazır performansı iyileştirirken veri ambarı maliyetlerini azaltın. SQL Server Fast Track Data Warehouse aşağıdakilerden oluşur:

§  Özellikle ambar işlemleri için dengelenmiş ve optimize edilmiş, önceden seçilmiş sunucular, depolama ve ağ bileşenleri

§  Ölçeklenebilir ve kurumsal sınıf bir veri ambarı için SQL Server 2008 Enterprise

 

ZAMANI DEĞERE DAHA HIZLI DÖNÜŞTÜRÜN

 

Yüksek performanslı bir ambarı daha kısa sürede kullanıma alın. Fast Track Data Warehouse donanımı metodik olarak test edilmekte ve ayarlanmaktadır. Böylece deneme yanılmaya gerek kalmaz ve aylar sürecek yapılandırma, kurulum, test ve ayar işlemlerini kısaltabilirsiniz.

§  Tüm ihtiyacınız olan donanımı (sunucu, depolama ve ağ bileşenleri) tek bir tedarikçiden satın alın

§  Veri ambarı oluşturma ve geçiş işlemlerini hızlandırın

§  Kurumsal birimlerin standart bir platformda özel simetrik çoklu işlem yapan (SMP) veri ambarları veya veri pazarları oluşturabilmelerini sağlayın

 

DÜŞÜK MALİYETLİ KURUMSAL VERİ AMBARI İŞLEMLERİ

 

Fast Track Data Warehouse veri ambarları, SQL Server 2008 Enterprise ve endüstri standartlarında donanım sayesinde düşük maliyetle Kurumsal Veri Ambarları oluşturabilmenizi sağlar. Devreye alma süreci hızlanır ve bakım çalışmalarının miktarı tahmin edilebilir.

 

§  Belirli kurumsal ihtiyaçlarınıza uyacak farklı performans, ölçeklenebilirlik ve fiyat seviyelerinden birini seçin.

§  İki, dört veya sekiz işlemci konfigürasyonundan birini seçin

§  Eşdeğer bir Oracle sisteminin üçte bir fiyatından daha düşük maliyetle kurumsal sınıfta bir çözüm kullanın

 

PERFORMANS VE ÖLÇEKLENEBİLİRLİKTE ÇITAYI YÜKSELTİYOR

 

Fast Track Data Warehouse müşterileri daha az çaba ile kullanıma hazır ve daha yüksek performans alırlar, çünkü çözümler Veri Ambarı işlemleri için optimize edilmiştir.

 

Fast Track Data Warehouse ile tipik bir çevrimiçi işlem (OLTP) veritabanı arasındaki fark, tüm bileşenlerin –işlemciden diske kadar- çevrimiçi analitik işlem (OLAP) için dengelenmiş ve ayarlanmış olması ve potansiyel performans darboğazlarını ortadan kaldırmaya odaklanılmış olmasıdır.

 

Rastgele IO yerine dizisel IO için optimize edilmiş olan tüm Fast Track Data Warehouse'lar, işlemci çekirdeği başına 200 MB/sn aktarabilecek şekilde tasarlanmıştır. Bu da diğer öncü Tedarikçilerin fiyatının beşte birinden daha düşük maliyetle benzer performans sağlamaktadır.

 

Microsoft’un teknik rehberliği ve en iyi uygulamalarını kullanan Data Warehouse yöneticileri ve DBA'lar, veri ambarlarının sorunsuz bir şekilde devreye alınmasını ve tutarlı ve tahmin edilebilir bir şekilde çalışmasını bekleyebilirler.

 

 

VERİ AMBARI İŞLEMLERİNE DAHA İYİ BİR YAKLAŞIM

 

Fast Track Data Warehouse çözümleri, veri ambarı işlemlerine sağlam ve bütüncül bir yaklaşım ile tasarlanır, test edilir ve devreye alınır. Windows® konfigürasyonu ve SQL Server veritabanı yönetimindeki en iyi uygulamaları kullanarak müşterilerin tahmin edilebilir performans sunan Veri Ambarları oluşturmalarına yardımcı olurlar.

 

Fast Track yaklaşımı gücünü yalnızca tutarlı ve güvenilir donanımdan değil, ayrıca sıkıştırma, paralel bölümlendirme ve yıldız birleştirme sorgu optimizasyonu gibi SQL Server 2008 Enterprise'da bulunan gelişmiş veri ambarı geliştirmelerinden de almaktadır.

 

Güncellenmiş olan en iyi uygulamalar yaklaşımı, daha iyi performans için uygulayıcılara adım adım teknik kılavuz bilgiler. Bu yeni Fast Track yaklaşımı, hızlı devreye alma ve yapılandırma ile veri ambarı ekibinin becerisini ve tepki verme yeteneğini geliştirir.

 

§  Size özgü iş yükü ve performans ihtiyaçlarınıza uyacak şekilde özelleştirin

§  SQL Server 2008 Enterprise'daki veri ambarı geliştirmeleri ile performans, ölçeklenebilirlik ve yönetilebilirliği arttırın

§  Yerleşmiş veri ambarı en iyi uygulamalarını kullanarak güvenle oluşturun, ayarlayın ve devreye alın

 

İLERİYE BAKMAK

 

Fast Track Data Warehouse'lar, SQL Server üzerinde büyük ölçekli kurumsal veri ambarı işlemleri için sağlam bir yol haritası sunarlar. Verilerinizin büyüklüğü yüzlerce terabayt'lara ulaştıkça Fast Track veri ambarınız SQL Server Parallel Data Warehouse  çözümünün bir parçası haline gelebilir. Günümüzde Fast Track konfigürasyonlarında oluşturulan veri ambarları, bir Madison hub ve bağlı bileşen mimarisindeki tam entegre SMP "bağlı bileşenleri" olabilirler.

 

 

 

"YKB Oracle 8i üzerinde geliştirdiği DataWarehouse uygulamasını yedi hafta içerisinde Sybase IQ ya taşıyarak, on aylık geri ödeme süresi ile yatırım geri dönüş maliyetinde %154 kazanç sağlamış oldu. Türkiye' nin ilk özel bankası olan Yapı Kredi Bankası, 500 şubeye sahip olmakla beraber ve leasing, faktoring, sigorta, Yatırım Bankacılığı gibi çeşitli finans kurumlarında uluslararası iştiraki olan bir bankadır. Aynı zamanda kredi kartları iş hacminde de lider bir banka konumundadır. Bu kredibiliteyi, büyümeyi ve müşteri memnuniyetini sürsürebilmek için bilgi teknolojilerine yatırım yapan lider kurumlardan biridir.

Mevcut datawarehouse larında 25 farklı operasyonel sistemden gelen bir terabyte tan fazla veri mevcut bulunmaktaydı. Önceden tanımlı ve ayarlanmış sorguların sonuçları 24 saatten uzun süren bir süre zarfında alınmakta idi. Data setlerinin büyüklüğü sorgulama işlemini hem güçleştiriyor hem de zaman kaybına yol açıyordu. Ad-hoc sorgular hemen hemen imkansız hale gelmekte idi. YKB bu sistemi performansı artırarak, düşük maliyetler çerçevesinde ihtiyaçlarını karşılamak üzere değiştirmeye karar verdi. Çözüm alternatiflerini değerlendirirken, üç farklı vendor ı üç günlük analiz ve Proof-of-concept çalışması yapmak üzere davet etti. Hedefleri, 8 hafta içerisinde production ortamına geçiş yapmak üzere, en hızlı ve doğru bir şekilde migration planını çıkarabilmek olmuştu. Sorgulama da hızlanma, veri depolamada en düşük kaynaka ve performans önem verdikleri kriterler arasında yer almakta idi. Ve sonuç olarak YKB, Sybase IQ ürününü seçti. YKB uygulama grubu ile iki Sybase danışmanı tarafından oluşturulan bir proje grubu sayesinde, yeni sistem yedi hafta içerisinde hayata geçirildi. Yeni oluşturulan datawarehouse uygulaması, kolon tabanlı çalışma metodolojisine dayalı olup, yüksek bir performans göstermeyi başardı. Sorgu cevap sürelerinde mükemmelliğe erişildi: Sorguların %88.4 bir saniye yada daha az sürede gerçekeşmektedir, %7 si 1-10 saniye içerisinde, %1.7 si 10-30 saniye arasında gerçekleşmektedir.

Ayrıca, yeni kurulan sistem tamamı ile SQL uyumlu olduğu için, veritabanı yönetcilerinin kısa sürede bu sisteme hakim olması oldukça kolay olmuştur. YKB eskiden bir terabyte yer tutan verilerini, artık Sybase IQ üzerinde 350 gigabyte lar seviyesine indirmiştir. 12 CPU lu sistem yerine 3 CPU lu bir sistem üzerinde DW uygulamalarını çalıştırmaktadırlar. YKB bünyesinde satış, pazarlama ve kredi kartları çalışanları kolay ve hızlı bir şekilde yeni sisteme olaşabilmekte ve kompleks ad-hoc sorgular çalıştırabilmektedirler."

Selamlar...

Rac ile ilgili ne kadar çok şeyden bahsedersek edelim aslında iş dönüp dolaşıp mimariye geliyor. Ve ben de aklıma geldikçe mimari ile ilgili yazılarımı paylaşmayı düşünüyorum. Çünkü işin özü mimaride...

Aslında database ve özellikle Datawarehouse zaten mimari ile güçlenmişlerdir.Zaten bu işin Dünyada onlardan sorulduğu  kişi bu şekilde(modelleme üzerine) çalışmalarla ön plana çıkmışlardır.

Onlardan biri olan Dr. Kimball incelemek isterseniz:

http://www.rkimball.com/ tavsiye ederim.

her neyse konumuza dönecek olursak: