OLAP VE ORACLE DATA INTEGRATOR(ODI)

 

 

Olap ve Oracle Data Integrator arasında, tablolama konusunda ortaklık bulunuyor.Aslında ODI yeni bir teknoloji değildir. Yani bildiğimiz manada. Aşağıda tablolardan da anlaşılacağı gibi, ODI sadece yöneticidir. Kendisinin yaptığı bir şey yoktur.Oracle, SQL gibi database sistemlerde bu toolları kullanır.OLAP ile ise zaten OLAP'ın kendisi veri bütünleştirme yöntemidir. Oracle'da da ODI ile bu teknolojiyi kullanabiliriz.

ODI Nedir?

ODI: Oracle Data Integrator

ODI  daha sonra hedeflere yüklenecek çok sayıda verinin sağlar.Yeni set edilmiş bileşenlere veya herhangi heterojen kaynak(çeşitli veriler)lara uzaktan erişimi sağlar. Yani onların(verilerin) tanımlarıyla bağlantılar kurar. Kendileri offline olsalar bile; onlarla ilgili işlemler yapabilir. Bunu sürükle bırak mantığı ile ama yine de bir kod tabanı üzerinden yapar.Süreç akışı ve veri haritalama kullanarak,ELT işleme benzer veri entegrasyonu ODI ile gerçekleştirilebilir. Veri birden fazla kaynaktan, çeşitli dönüşüm süreçleri gönderilerek ve ayıklanan bir nihaî hedefe yüklenerek; oluşturmak istediğimiz tablo kriterlerine uyacak kadar esnek bir yapı ile ODI de(daha doğrusu; yine Oracle'ın kendisinde) işlenebilir.Dönüşümler kaynak sistemleri veya platformu üzerinden, hedef ortamda özel kodu dahil bilgi modülleri tarafından tanımlanarak oluşabilir.

Oracle Data Integrator(ODI) , yüksek performanslı hareket ve veri dönüşümü durumlarına göre; heterojen sistemlerde senkron ve asenkron modlarla gerçek zamanlı toplu işlemler yaparak; modüler tasarım yaklaşımı ile kullanıcı verimliliğini artırır.ODI, grafik modülleri ve yazılım prensipleriyle buna izin verir.Oracle Data Integrator, grafik modulleri ve yazılım maddeleri ile buna izin verir(verimlilik artımına).

• Ters mühendislik uygulama modelleri.

• Veri tutarlılığı kontrolu.

• Arabirimleri uygulamaları arasında Tasarım, test, işletmek ve korumak

• Kontrol edilmiş veri arayüzler tarafından, hata izolasyonu ve/veya geri dönüşüm ile işlenmiş olarak akması • Eksik veri girişi tanımlamak

Oracle Data Integrator(ODI) için tasarlanmıştır.

 

ORACLE DATA INTEGRATOR(ODI) MİMARİSİ

 

Mimari Durumu(görünüşü)

ODI mimarisi bileşenlerle, client-server tarzında bi moduler ambar etrafında organize edildi. Grafik modülleri ve uygulama araçları ile bütünüyle java da yazıldı.Kullanıcılar bilgiye bir arayüz vasıtasıyla(designer), mimariye dahil bir web uygulaması ile erişebilirler.

1 GRAFİK MODULLERİ

4 tane grafik Modülü vardır. i)Designer, ii)Operator, iii)Topoloji Yöneticisi ve iiii)Güvenlik Yöneticisi.Bu moduller Java Virtual Machine 1.5(J2SE), grafik platformunda kurulabilir. Windows uygulamaları, Linux, HP-UX, Solaris, AIX ve Mac OS diğerlerinin ortasında dahil edilebilir. Bu topolojilerin grafiksel pozisyonlarına şekilden genel olarak ulaşabiliriz.

Designer,  data dönüştürümü ve data güvenliği için deklaratif kuralları tanımlar. Tüm proje geliştirmeleri bu modülde alan götürür.Bu alan database ve uygulama metadata getirtilir ve tanımlanır. Designer modül üretim senaryoları oluşturmak için kurallar ve metadata kullanır.Bu metadata yönetimi ve geliştirimi işin özendeki ve önemi ciddi seviyede olan bir modüldür.

Operator, üretimi denetler ve yönetir. Üretim operatoru için design edlimiştir ve uygulama logaritmalarını hatalı sayımlar ile gösterir.

Topology Manager, altyapı sisteminin fiziksel ve mantıksal mimarisini tanımlar. Serverlar, Şemalar ve Araçlar bu modulde genellikle altyapı sistemini veya Proje yöneticileri kayıtlıdır.

Security Manager, kullanıcı profilleri ve onların özel erişimlerini yönetir. Bu modul genellikle güvenlik yöneticileri tarafından kullanılır.

 

 

2 RUNTIME PARÇALARI

Şekil de designer, Operator, Repository(ambar), Sheduler Agent ilişkisel çalışmaları anlaşılabiliyor. Veri ambarı raporlama anında Sheduler Agent ilişkisi Designer ve Operator kavramsallaşması görülüyor.

Senaryo uygulanmasını Sheduler Agent koordine eder.Sheduler Agent herhangi Java platformunda kurulabilir. Sheduler Agent almak-yüklemek şeklinde dönüştürmek ile arada bir perform eder ve taşır. Uygulama ambarından kodu basit bir şekilde alır, düzeltir ve sonra database server'ına, uygulama alanlarına cevap döner.

Veri Ambarı  

Veri Ambarı, veritabanı hareketinden çok sorgulama ve analiz için kullanılmak üzere dizayn edilmiş ilişkisel bir veritabanıdır. Genelde

hareket verisinden elde edilmiş tarihi bilgiler içerdiği gibi başka kaynaklardan gelen bilgiler de içerebilir. Veritabanı hareketlerinden

kaynaklanan iş yüküyle analiz yükünü birbirinden ayırır ve bu sayede değişik kaynaklardan toplanan bilgilerin daha kolay bir şekilde

organize edilmesine olanak sağlar.

Veri Ambarı ile OLTP Sistemler Arasındaki Farklar

Veri Ambarı ve OLTP sistemlerin ihtiyaçları birbirinden çok farklıdır.Tipik bir veri ambarı ile OLTP sistemler arasındaki bazı farklar şunlardır:

--İşyükü:Veri ambarında ne tür bir iş yük olacağını önceden bilmek zordur, bu sebeple veri ambarını muhtemel bir çok farklı sorguya göre optimize etmeniz gerekir.Ama OLTP sistemlerin karşılaşacağı operasyonlar önceden bellidir.Uygulamanızı özellikle bu operasyonlara göre ayarlayabilirsiniz.

--Veri değişimi: Veri Ambarında uç kullanıcılar direk olarak değişiklik yapmaz.Veri ambarında veri değişiklikleri günde veya haftada bir kere olacak şekilde toptan yapılır. OLTP sistemlerde ise uç kullanıcılar devamlı veri üzerinde değişiklik yapar ve sistemde herzaman en güncel bilgi bulunur.

--Şema Dizaynı:Veri ambarlarında, sorgu performansını artırmak için genelde denormalize veya kısmen denormalize şemalar kullanılır.

OLTP sistemlerde ise, veri değişimini optimize etmek ve veri tutarlılığını garanti etmek için tamamen normalize edilmiş şemalar kullanılır.

--Tipik Operasyonlar:Tipik bir veri ambarı sorgusu binlerce hatta milyonlarca satır tarar ama OLTP sistemlerdeki operasyonlarda çok az sayıda satıra erişilir.

--Tarihî Bilgi:Tarihi analizleri destekleyebilmek için veri ambarlarında aylarca hatta yıllarca zamanlık veri depolanır.Ama OLTP sistemlerde en fazla birkaç haftalık yada aylık bilgi depolanır.

Veri Ambarı Mimarisi

Veri ambarları ve onların mimarileri organizasyonların durumuna göre değişkenlik gösterir.Üç temel mimari şunlardır:

--Veri Ambarı Mimarisi(basit) :Uç kullanıcılar değişik kaynaklardan toplanan veriye direk ulaşırlar. OLTP sistemlerden gelen veri,metaveri ve ham veri olarak sistemde tutulur. Sistemde depolanan bir diğer tipteki veri ise meta ve ham verinin işlenmesi sonucu elde edilen ve veri ambarı için çok önemli olan özet veridir. Oracle'da özetlere materialized view denir.

--Veri Ambarı Mimarisi(Sahneleme alanı içeren):Operasyonel verinin veri ambarına atılmasından önce temizlenmesi  ve bir ön işlemden geçirilmesi gerekir.Bu iş için bir sahneleme alanı kullanılır.Bu özet verinin çıkartılmasını ve veri ambarı yönetimini kolaylaştırır.

--Veri Ambarı Mimarisi(Sahneleme alanı ve veri çarşısı içeren):Organizasyon içindeki değişik gruplara göre veri ambarının mimarisi kişiselleştirilmek istenebilir.Bunu sağlamak için kullanılan yapılara veri çarşısı denir.  Veri çarşısı, yürütülmekte olan işin belirli alanları için dizayn edilmiş sistemlerdir. Örneğin, veri ambarında satış yada satın almayla ilgili verilere uç kullanıcılar ayrı ayrı ulaşmak isteyebilir.

Materialized View'lar 

Bu yapı bir sorgunun sonuçlarını ayrı bir şema nesnesi içinde tutarak tablolara dolaylı bir erişim sağlar. Yer kaplamayan normal viewların aksine, bunlar bir veya daha fazla temel tablo yada viewdan yapılan sorgunun sonucunda oluşan satırları saklarlar. Sorgunun temel tablolarıyla aynı veya farklı veritabanlarında olabilirler.

 

 

 

2000 li yılların başlarını hatırlıyorum. Aslında bu vakitler Türkiye de Veri Ambarı ve Veri Madenciliği  çalışmalarının da ilk kez yapılmaya başlandığı vakitlerdi. SAS ve SPSS Türkiye de daha yeni yeni ofis açıyor pazar bulmaya çalışıyorlar, büyük şirketler de  veri’leri bir merkezden raporlamanın veriden yeni bilgiler elde etmenin önemini daha yeni iş süreçlerine sokuyorlardı.  Uygulama geliştirici olarak IT dünyasına adım atan bizler gibi pek çok arkadaş da MIS bolumleri, Yonetim raporları, Terabayt’lar gibi kelimeleri ilk kez duymaya basliyordu. Şirketlerde önceleri küçümsenen ve raporlama bölümü denen ilk veri ambarı bölümleri kısa bir süre sonra şirketin
omurgası, olmazsa olmazı, stratejisine yön veren projelerin kaynağı haline geleceklerdi.

Veri ambarı projelerinin yüksek donanım, yazılım, işgücü maliyetleri,  Ülkemiz de en rekabetçi üç ana sektör Telekom, Bankacılık ve Sigorta alanlarında ilk kez bu projelerin yapılmasına izin verdi. Halen de bu konuda yani diğer sektörlere yaymada çok ilerlediğimiz söylenemez.

Veri’den bilgiye bu hızlı değişim ve dönüşüm dönemini Türkiye de Telekom sektöründe geçirmiş olmak, en yakından ilk sıkıntıları, ilk ödülleri,  ilk yaklaşımları hissetmek bana da gelişimim açısından da büyük katkı sağladı. Özellikle telekom seköründeki hızlı değişim,  bitmeyen rekabet ortamı, sürekli yenilenmek, her gün yeni servislerin çıkması adını her organizasyon değişikliğinde  değiştirdiğimiz bu bölümlerin insan kaynağı ve bütçe olarak büyümesine, öneminin ve kritikliğinin artmasına neden oldu.  Bu bölümlere neler demedik ki; MIS (Manegement Information System) , Raporlama bölümü ,  BIS (Business Intelligence Systems),  IMS(Information Management Systems)  DWH&DM (Datawarehouse ve Datamining) ve en sonunda İş Zekası..

Bu süreçte ilk yer alan şirketler ülkemiz de bu alanda yerli bir ürün olmayışı ve uzman işgücü’nün azlığı nedeniyle
gerek ürün gerekse uzmanlık anlamında yüksek rakamlar vererek dışarıdan destek aldılar. 2010 yılında baktığımda
artık uzmanlık olarak az da olsa bizimde iyi kaynaklarımızın olduğunu görüyorum. Ürün konusunda ise tamamen dışa bağımlıyız.

Tabi her değişim süreci gibi bu süreç de çok sancılı geçti. Pek çok yönetici başarısız olduğu gerekçesiyle işinden oldu,
raporlar çıkmadı, raporlar uymadı, şirketler bu kez de rapor çıkarmanın yeterli olmadığını raporların doğruluğunun da  çok önemli olduğunu anladılar. Veri ambarının veriyi kaynaktan alıp veri tabanına aynen yazmak demek olmadığının, veriyi çok iyi tanımanın önemini, bu alanda bir ürünü almanın yeterli olmadığının ürünü en iyi şekilde kullanmanın önemini anladılar. Ya da hala anlıyorlar!