OLAP VE ORACLE DATA INTEGRATOR(ODI)

 

 

Olap ve Oracle Data Integrator arasında, tablolama konusunda ortaklık bulunuyor.Aslında ODI yeni bir teknoloji değildir. Yani bildiğimiz manada. Aşağıda tablolardan da anlaşılacağı gibi, ODI sadece yöneticidir. Kendisinin yaptığı bir şey yoktur.Oracle, SQL gibi database sistemlerde bu toolları kullanır.OLAP ile ise zaten OLAP'ın kendisi veri bütünleştirme yöntemidir. Oracle'da da ODI ile bu teknolojiyi kullanabiliriz.

ODI Nedir?

ODI: Oracle Data Integrator

ODI  daha sonra hedeflere yüklenecek çok sayıda verinin sağlar.Yeni set edilmiş bileşenlere veya herhangi heterojen kaynak(çeşitli veriler)lara uzaktan erişimi sağlar. Yani onların(verilerin) tanımlarıyla bağlantılar kurar. Kendileri offline olsalar bile; onlarla ilgili işlemler yapabilir. Bunu sürükle bırak mantığı ile ama yine de bir kod tabanı üzerinden yapar.Süreç akışı ve veri haritalama kullanarak,ELT işleme benzer veri entegrasyonu ODI ile gerçekleştirilebilir. Veri birden fazla kaynaktan, çeşitli dönüşüm süreçleri gönderilerek ve ayıklanan bir nihaî hedefe yüklenerek; oluşturmak istediğimiz tablo kriterlerine uyacak kadar esnek bir yapı ile ODI de(daha doğrusu; yine Oracle'ın kendisinde) işlenebilir.Dönüşümler kaynak sistemleri veya platformu üzerinden, hedef ortamda özel kodu dahil bilgi modülleri tarafından tanımlanarak oluşabilir.

Oracle Data Integrator(ODI) , yüksek performanslı hareket ve veri dönüşümü durumlarına göre; heterojen sistemlerde senkron ve asenkron modlarla gerçek zamanlı toplu işlemler yaparak; modüler tasarım yaklaşımı ile kullanıcı verimliliğini artırır.ODI, grafik modülleri ve yazılım prensipleriyle buna izin verir.Oracle Data Integrator, grafik modulleri ve yazılım maddeleri ile buna izin verir(verimlilik artımına).

• Ters mühendislik uygulama modelleri.

• Veri tutarlılığı kontrolu.

• Arabirimleri uygulamaları arasında Tasarım, test, işletmek ve korumak

• Kontrol edilmiş veri arayüzler tarafından, hata izolasyonu ve/veya geri dönüşüm ile işlenmiş olarak akması • Eksik veri girişi tanımlamak

Oracle Data Integrator(ODI) için tasarlanmıştır.

 

ORACLE DATA INTEGRATOR(ODI) MİMARİSİ

 

Mimari Durumu(görünüşü)

ODI mimarisi bileşenlerle, client-server tarzında bi moduler ambar etrafında organize edildi. Grafik modülleri ve uygulama araçları ile bütünüyle java da yazıldı.Kullanıcılar bilgiye bir arayüz vasıtasıyla(designer), mimariye dahil bir web uygulaması ile erişebilirler.

1 GRAFİK MODULLERİ

4 tane grafik Modülü vardır. i)Designer, ii)Operator, iii)Topoloji Yöneticisi ve iiii)Güvenlik Yöneticisi.Bu moduller Java Virtual Machine 1.5(J2SE), grafik platformunda kurulabilir. Windows uygulamaları, Linux, HP-UX, Solaris, AIX ve Mac OS diğerlerinin ortasında dahil edilebilir. Bu topolojilerin grafiksel pozisyonlarına şekilden genel olarak ulaşabiliriz.

Designer,  data dönüştürümü ve data güvenliği için deklaratif kuralları tanımlar. Tüm proje geliştirmeleri bu modülde alan götürür.Bu alan database ve uygulama metadata getirtilir ve tanımlanır. Designer modül üretim senaryoları oluşturmak için kurallar ve metadata kullanır.Bu metadata yönetimi ve geliştirimi işin özendeki ve önemi ciddi seviyede olan bir modüldür.

Operator, üretimi denetler ve yönetir. Üretim operatoru için design edlimiştir ve uygulama logaritmalarını hatalı sayımlar ile gösterir.

Topology Manager, altyapı sisteminin fiziksel ve mantıksal mimarisini tanımlar. Serverlar, Şemalar ve Araçlar bu modulde genellikle altyapı sistemini veya Proje yöneticileri kayıtlıdır.

Security Manager, kullanıcı profilleri ve onların özel erişimlerini yönetir. Bu modul genellikle güvenlik yöneticileri tarafından kullanılır.

 

 

2 RUNTIME PARÇALARI

Şekil de designer, Operator, Repository(ambar), Sheduler Agent ilişkisel çalışmaları anlaşılabiliyor. Veri ambarı raporlama anında Sheduler Agent ilişkisi Designer ve Operator kavramsallaşması görülüyor.

Senaryo uygulanmasını Sheduler Agent koordine eder.Sheduler Agent herhangi Java platformunda kurulabilir. Sheduler Agent almak-yüklemek şeklinde dönüştürmek ile arada bir perform eder ve taşır. Uygulama ambarından kodu basit bir şekilde alır, düzeltir ve sonra database server'ına, uygulama alanlarına cevap döner.

Veri Ambarı  

Veri Ambarı, veritabanı hareketinden çok sorgulama ve analiz için kullanılmak üzere dizayn edilmiş ilişkisel bir veritabanıdır. Genelde

hareket verisinden elde edilmiş tarihi bilgiler içerdiği gibi başka kaynaklardan gelen bilgiler de içerebilir. Veritabanı hareketlerinden

kaynaklanan iş yüküyle analiz yükünü birbirinden ayırır ve bu sayede değişik kaynaklardan toplanan bilgilerin daha kolay bir şekilde

organize edilmesine olanak sağlar.

Veri Ambarı ile OLTP Sistemler Arasındaki Farklar

Veri Ambarı ve OLTP sistemlerin ihtiyaçları birbirinden çok farklıdır.Tipik bir veri ambarı ile OLTP sistemler arasındaki bazı farklar şunlardır:

--İşyükü:Veri ambarında ne tür bir iş yük olacağını önceden bilmek zordur, bu sebeple veri ambarını muhtemel bir çok farklı sorguya göre optimize etmeniz gerekir.Ama OLTP sistemlerin karşılaşacağı operasyonlar önceden bellidir.Uygulamanızı özellikle bu operasyonlara göre ayarlayabilirsiniz.

--Veri değişimi: Veri Ambarında uç kullanıcılar direk olarak değişiklik yapmaz.Veri ambarında veri değişiklikleri günde veya haftada bir kere olacak şekilde toptan yapılır. OLTP sistemlerde ise uç kullanıcılar devamlı veri üzerinde değişiklik yapar ve sistemde herzaman en güncel bilgi bulunur.

--Şema Dizaynı:Veri ambarlarında, sorgu performansını artırmak için genelde denormalize veya kısmen denormalize şemalar kullanılır.

OLTP sistemlerde ise, veri değişimini optimize etmek ve veri tutarlılığını garanti etmek için tamamen normalize edilmiş şemalar kullanılır.

--Tipik Operasyonlar:Tipik bir veri ambarı sorgusu binlerce hatta milyonlarca satır tarar ama OLTP sistemlerdeki operasyonlarda çok az sayıda satıra erişilir.

--Tarihî Bilgi:Tarihi analizleri destekleyebilmek için veri ambarlarında aylarca hatta yıllarca zamanlık veri depolanır.Ama OLTP sistemlerde en fazla birkaç haftalık yada aylık bilgi depolanır.

Veri Ambarı Mimarisi

Veri ambarları ve onların mimarileri organizasyonların durumuna göre değişkenlik gösterir.Üç temel mimari şunlardır:

--Veri Ambarı Mimarisi(basit) :Uç kullanıcılar değişik kaynaklardan toplanan veriye direk ulaşırlar. OLTP sistemlerden gelen veri,metaveri ve ham veri olarak sistemde tutulur. Sistemde depolanan bir diğer tipteki veri ise meta ve ham verinin işlenmesi sonucu elde edilen ve veri ambarı için çok önemli olan özet veridir. Oracle'da özetlere materialized view denir.

--Veri Ambarı Mimarisi(Sahneleme alanı içeren):Operasyonel verinin veri ambarına atılmasından önce temizlenmesi  ve bir ön işlemden geçirilmesi gerekir.Bu iş için bir sahneleme alanı kullanılır.Bu özet verinin çıkartılmasını ve veri ambarı yönetimini kolaylaştırır.

--Veri Ambarı Mimarisi(Sahneleme alanı ve veri çarşısı içeren):Organizasyon içindeki değişik gruplara göre veri ambarının mimarisi kişiselleştirilmek istenebilir.Bunu sağlamak için kullanılan yapılara veri çarşısı denir.  Veri çarşısı, yürütülmekte olan işin belirli alanları için dizayn edilmiş sistemlerdir. Örneğin, veri ambarında satış yada satın almayla ilgili verilere uç kullanıcılar ayrı ayrı ulaşmak isteyebilir.

Materialized View'lar 

Bu yapı bir sorgunun sonuçlarını ayrı bir şema nesnesi içinde tutarak tablolara dolaylı bir erişim sağlar. Yer kaplamayan normal viewların aksine, bunlar bir veya daha fazla temel tablo yada viewdan yapılan sorgunun sonucunda oluşan satırları saklarlar. Sorgunun temel tablolarıyla aynı veya farklı veritabanlarında olabilirler.

 

 

 

OLAP KÜPÜ NEDİR

İlişkisel veri tabanlarının kullanımı ve sonrasında ortaya çıkan veri ambarlarının büyüklüğü ile beraber, verilere daha hızlı şekilde erişme ve çok boyutlu analiz ihtiyaçları doğmuştur. Çevrimiçi Analitik İşleme (OLAP) veritabanları karar destek sorgularını kolaylaştırır. OLAP, işlemleri işlemek yerine sorgulama ve raporlama için en iyi duruma getirilmiş bir veritabanı teknolojisidir. OLAP'ın kaynak verileri, yaygın olarak veri depolarında depolanan Çevrimiçi İşlem İşleme (OLTP) veritabanlarıdır. OLAP verileri bu geçmiş verilerinden türer ve karmaşık çözümlemelere izin veren yapılar halinde derlenir. OLAP verileri hiyerarşik olarak da düzenlenir ve tablo yerine küplerde depolanır. Çözümlenecek verilere hızlı erişim sağlamak için çok boyutlu yapılar kullanan karmaşık bir teknolojidir. Bu düzenleme, Özet Tablo raporu veya Özet Grafik raporunun, tüm ülke veya bölgedeki toplam satışlar gibi yüksek düzeyde özetleri görüntülemesini, buna ek olarak satışların bölgelere göre güçlü mü, yoksa zayıf mı olduğu konularında da ayrıntı görüntülemesini kolaylaştırır. OLAP veritabanları iki temel veri türü içerir: konuya hakim biçimde iş kararları almak için kullandığınız sayısal veriler, miktarlar ve ortalamalar olan ölçüler ve bu ölçüleri düzenlemek için kullandığınız kategoriler olan boyutlar. OLAP veritabanları, verileri çözümlemek için bildiğiniz kategorileri kullanarak verileri pek çok ayrıntı düzeyiyle düzenlemenize yardımcı olur.

OLAP KÜP BİLEŞENLERİ

Aşağıdaki bölümlerde bu bileşenlerin her biri daha ayrıntılı bir biçimde açıklanmaktadır:

Küp Ölçüleri, çözümlemek istediğiniz boyutların her birinin düzey ve hiyerarşilerine göre derleyen bir veri yapısıdır. Küpler; zaman, coğrafya ve ürün türü gibi çeşitli boyutları satış veya stok rakamları gibi özet verilerle birleştirir. Küpler, matematikte bildiğimiz anlamda birer "küp" değildirler, çünkü eşit kenarlara sahip olmaları gerekmez. Ancak, karmaşık bir kavram için yerinde bir benzetme olduğunu söyleyebiliriz.

Ölçü Bir küpte bulunan ve küpün bulgu tablosundaki bir sütunu temel alan değerler kümesidir ve genellikle sayısal değerler halindedir. Ölçüler, küpteki önceden işlenmiş, derlenmiş ve çözümlenmiş merkezi değerlerdir. Yaygın örnekler arasında satış, kar, gelir ve maliyet sayılabilir.

Üye Bir hiyerarşide, bir veya daha çok veri yinelenmesini temsil eden öğedir. Bir üye benzersiz veya benzer olabilir. Örneğin, bir zaman boyutunun yıl düzeyinde 2007 ve 2008 benzersiz üyeleri temsil eder, ancak ay düzeyinde Ocak benzer üyeleri temsil eder çünkü birden fazla yılın verilerini içeriyorsa zaman boyutunda birden fazla Ocak bulunabilir.

Hesaplanan üye Değeri çalışma esnasında ifade kullanılarak hesaplanan boyut üyesidir. Hesaplanan üye değerleri diğer üyelerin değerlerinden türetilebilir. Örneğin, Kar hesaplanan üyesi, Maliyetler üyesinin değerini Satışlar üyesinin değerinden çıkararak belirlenebilir.

Boyut Bir küpte, kullanıcının anladığı ve veri çözümleme için temel olarak kullandığı düzenlenen bir veya daha fazla düzey hiyerarşileri grubudur. Örneğin bir coğrafya boyutu Ülke/Bölge, İl/İlçe ve Şehir için düzey içerebilir. Ya da bir zaman boyutu yıl, çeyrek, ay ve gün için hiyerarşi düzeyleri içerebilir. Özet Tablo raporu veya Özet Grafik raporunda, her hiyerarşi, daha düşük veya daha yüksek düzeyleri göstermek için genişletebileceğiniz ve daraltabileceğiniz alanlar kümesi haline gelir.

Hiyerarşi Boyutun üyelerini, her üyenin bir üst üyesi ve sıfır veya daha fazla alt üyesi olacak şekilde düzenleyen mantıksal ağaç yapısıdır. Alt öğe, geçerli üyeyle doğrudan ilgili bir hiyerarşide bir sonraki alt düzeyin bir üyesidir. Örneğin Çeyrek, Ay ve Gün düzeylerini içeren bir Zaman hiyerarşisinde Ocak Çyr1'in alt öğesidir. Üst öğe, geçerli üyeyle doğrudan ilgili bir hiyerarşide bir sonraki üst düzeyin bir üyesidir. Üst değer genellikle bütün alt öğelerin değerlerinin birleşimidir. Örneğin; Çeyrek, Ay ve Gün düzeylerini içeren bir Zaman hiyerarşisinde, Çyr1 Ocak'ın üst öğesidir.

Düzey Bir hiyerarşi içinde, veriler alt ve üst ayrıntı düzeyleri olarak düzenlenebilir. Örnek olarak Zaman hiyerarşisinde Yıl, Çeyrek, Ay ve Gün düzeyleri verilebilir.

OLAP VERİTABANININ ÖZELLİKLERİ

Çok boyutlu inceleme özelliğine sahip olması Şeffaflık Erişilebilirlik Her seviyede sorgulama için aynı performansı gösterebilme özelliği İstemci-Sunucu yapısında olması Sınırsız şekilde çapraz raporlama olanağının olması En alt seviyedeki verilerin otomatik olarak ayarlanması Her şarta uygun boyutlandırılabilir olması Çok kullanıcı desteğinin olması Her seviyede verilerin değiştirilebilir olması Esnek raporlama özelliği, Boyut ve gruplamalarda sınır olmaması şeklindedir

OLAP, yukarıdan aşağıya doğru bakmak isteyen, detaylarla uğraşmaktan yorulan yöneticiler ve analistlerin, verilere çok hızlı şekilde bakabilmelerini sağlayan bir veri kümesidir. “Kim?” ve “Ne Zaman?” sorularından başka, “Neden?” ve “Eğer şu olursa...” sorularının da yanıtını verir. (Ör : Eğer şeker fiyatları 5% lira ve taşıma maliyetleri 10% düşerse, yıllık, çeyrekler, aylık, haftalık ve günlük bazında kârlılık ne olur gibi. Hatta abartılırsa ve veritabanı buna müsaitse saat ve dakikaya dahi inilebilir.) Bu kırılımdaki raporların performansı hep aynıdır. Yani raporu yıllık sorgulama ile saatlik sorgulama arasında geçen süre aynıdır.

Akıllı raporlama araçları sayesinde, neden sorularının cevapları da kolaylıkla alınabilmektedir. Genel eğilimden farklılık gösteren, uç değerler yaratan elemanları birçok analiz aracı, sayısal detaylara girmeden, sadece renklerle bile görüntüleyebilmektedir.

OLAP’ı sadece büyük özet tablolar gibi yorumlamak doğru olmaz. Excel kullanıcıların tanıdıkları pivot tabloların, çok gelişmiş ve hızlı bir hali olarak düşünüle bilir. Tasarlanan bir OLAP yapısının, hiyerarşilerini ve boyutlarını görmek mümkün olsa da, verileri nasıl tuttuğunu, nasıl sorgulanacağını sadece mdx sayesinde görebiliriz. Fakat dışarıdan baktığımızda iç içe geçmiş küpler olarak yorumlayabiliriz. Bu nedenle OLAP yapılarına, “küp” adı verilmiştir.

Bir veri ambarınızın olması, OLAP’a ihtiyacınız olmadığı anlamına gelmez. Veri ambarları ve OLAP birbirlerinin tamamlarlar. Veri ambarı verileri barındırmaya yarar. OLAP ise, bu yığın halinde duran verileri anlamlı hale getirip analizler yapmaya yarar.

Örnek vermek gerekirse; pazarlama departmanlarında pazar araştırmalarında, satış tahminleri, promosyon ve kampanya analizleri, müşteri analizleri sonuçlarının değerlendirilmesi ve demografikler bazında incelenmesi seviyesinde de olmazsa-olmaz araçlardan biri olarak yer almaktadır. Üretim ile ilgili uygulamaları ise en yoğun olarak üretim planlama ve hata analizleridir. Farklı ürün tipleri ile çalışılan yapılarda, çok boyutlu düşünme imkanı sayesinde maliyetler ve fiyatlamalar, kolaylıkla çıkarılabilmektedir. Finans departmanları ise OLAP’ı bütçeleme, finansal performans analizleri ve finansal modelleme amaçları ile kullanabilir. Strateji belirleme, Satış analizleri ve gelecek tahminleri ise, satış departmanlarındaki OLAP uygulamadır.