OLAP VE ORACLE DATA INTEGRATOR(ODI)

  

Olap ve Oracle Data Integrator arasinda, tablolama konusunda ortaklik bulunuyor.Aslinda ODI yeni bir teknoloji degildir. Yani bildigimiz manada. Asagida tablolardan da anlasilacagi gibi, ODI sadece yöneticidir. Kendisinin yaptigi bir sey yoktur.Oracle, SQL gibi database sistemlerde bu toollari kullanir.OLAP ile ise zaten OLAP'in kendisi veri bütünlestirme yöntemidir. Oracle'da da ODI ile bu teknolojiyi kullanabiliriz.

ODI Nedir?

ODI: Oracle Data Integrator

ODI daha sonra hedeflere yüklenecek çok sayida verinin saglar.Yeni set edilmis bilesenlere veya herhangi heterojen kaynak(çesitli veriler)lara uzaktan erisimi saglar. Yani onlarin(verilerin) tanimlariyla baglantilar kurar. Kendileri offline olsalar bile; onlarla ilgili islemler yapabilir. Bunu sürükle birak mantigi ile ama yine de bir kod tabani üzerinden yapar.Süreç akisi ve veri haritalama kullanarak,ELT isleme benzer veri entegrasyonu ODI ile gerçeklestirilebilir. Veri birden fazla kaynaktan, çesitli dönüsüm süreçleri gönderilerek ve ayiklanan bir nihaî hedefe yüklenerek; olusturmak istedigimiz tablo kriterlerine uyacak kadar esnek bir yapi ile ODI de(daha dogrusu; yine Oracle'in kendisinde) islenebilir.Dönüsümler kaynak sistemleri veya platformu üzerinden, hedef ortamda özel kodu dahil bilgi modülleri tarafindan tanimlanarak olusabilir.

Oracle Data Integrator(ODI) , yüksek performansli hareket ve veri dönüsümü durumlarina göre; heterojen sistemlerde senkron ve asenkron modlarla gerçek zamanli toplu islemler yaparak; modüler tasarim yaklasimi ile kullanici verimliligini artirir.ODI, grafik modülleri ve yazilim prensipleriyle buna izin verir.Oracle Data Integrator, grafik modulleri ve yazilim maddeleri ile buna izin verir(verimlilik artimina).

• Ters mühendislik uygulama modelleri.

• Veri tutarliligi kontrolu.

• Arabirimleri uygulamalari arasinda Tasarim, test, isletmek ve korumak

• Kontrol edilmis veri arayüzler tarafindan, hata izolasyonu ve/veya geri dönüsüm ile islenmis olarak akmasi • Eksik veri girisi tanimlamak

Oracle Data Integrator(ODI) için tasarlanmistir.

 

ORACLE DATA INTEGRATOR(ODI) MIMARISI

 

Mimari Durumu(görünüsü)

ODI mimarisi bilesenlerle, client-server tarzinda bi moduler ambar etrafinda organize edildi. Grafik modülleri ve uygulama araçlari ile bütünüyle java da yazildi.Kullanicilar bilgiye bir arayüz vasitasiyla(designer), mimariye dahil bir web uygulamasi ile erisebilirler.

1 GRAFIK MODULLERI

4 tane grafik Modülü vardir. i)Designer, ii)Operator, iii)Topoloji Yöneticisi ve iiii)Güvenlik Yöneticisi.Bu moduller Java Virtual Machine 1.5(J2SE), grafik platformunda kurulabilir. Windows uygulamalari, Linux, HP-UX, Solaris, AIX ve Mac OS digerlerinin ortasinda dahil edilebilir. Bu topolojilerin grafiksel pozisyonlarina sekilden genel olarak ulasabiliriz.

Designer, data dönüstürümü ve data güvenligi için deklaratif kurallari tanimlar. Tüm proje gelistirmeleri bu modülde alan götürür.Bu alan database ve uygulama metadata getirtilir ve tanimlanir. Designer modül üretim senaryolari olusturmak için kurallar ve metadata kullanir.Bu metadata yönetimi ve gelistirimi isin özendeki ve önemi ciddi seviyede olan bir modüldür.

Operator, üretimi denetler ve yönetir. Üretim operatoru için design edlimistir ve uygulama logaritmalarini hatali sayimlar ile gösterir.

Topology Manager, altyapi sisteminin fiziksel ve mantiksal mimarisini tanimlar. Serverlar, Semalar ve Araçlar bu modulde genellikle altyapi sistemini veya Proje yöneticileri kayitlidir.

Security Manager, kullanici profilleri ve onlarin özel erisimlerini yönetir. Bu modul genellikle güvenlik yöneticileri tarafindan kullanilir.

 

 

2 RUNTIME PARÇALARI

Sekil de designer, Operator, Repository(ambar), Sheduler Agent iliskisel çalismalari anlasilabiliyor. Veri ambari raporlama aninda Sheduler Agent iliskisi Designer ve Operator kavramsallasmasi görülüyor.

Senaryo uygulanmasini Sheduler Agent koordine eder.Sheduler Agent herhangi Java platformunda kurulabilir. Sheduler Agent almak-yüklemek seklinde dönüstürmek ile arada bir perform eder ve tasir. Uygulama ambarindan kodu basit bir sekilde alir, düzeltir ve sonra database server'ina, uygulama alanlarina cevap döner.

Veri Ambari

Veri Ambari, veritabani hareketinden çok sorgulama ve analiz için kullanilmak üzere dizayn edilmis iliskisel bir veritabanidir. Genelde

hareket verisinden elde edilmis tarihi bilgiler içerdigi gibi baska kaynaklardan gelen bilgiler de içerebilir. Veritabani hareketlerinden

kaynaklanan is yüküyle analiz yükünü birbirinden ayirir ve bu sayede degisik kaynaklardan toplanan bilgilerin daha kolay bir sekilde

organize edilmesine olanak saglar.

Veri Ambari ile OLTP Sistemler Arasindaki Farklar

Veri Ambari ve OLTP sistemlerin ihtiyaçlari birbirinden çok farklidir.Tipik bir veri ambari ile OLTP sistemler arasindaki bazi farklar sunlardir:

--Isyükü:Veri ambarinda ne tür bir is yük olacagini önceden bilmek zordur, bu sebeple veri ambarini muhtemel bir çok farkli sorguya göre optimize etmeniz gerekir.Ama OLTP sistemlerin karsilasacagi operasyonlar önceden bellidir.Uygulamanizi özellikle bu operasyonlara göre ayarlayabilirsiniz.

--Veri degisimi: Veri Ambarinda uç kullanicilar direk olarak degisiklik yapmaz.Veri ambarinda veri degisiklikleri günde veya haftada bir kere olacak sekilde toptan yapilir. OLTP sistemlerde ise uç kullanicilar devamli veri üzerinde degisiklik yapar ve sistemde herzaman en güncel bilgi bulunur.

--Sema Dizayni:Veri ambarlarinda, sorgu performansini artirmak için genelde denormalize veya kismen denormalize semalar kullanilir.

OLTP sistemlerde ise, veri degisimini optimize etmek ve veri tutarliligini garanti etmek için tamamen normalize edilmis semalar kullanilir.

--Tipik Operasyonlar:Tipik bir veri ambari sorgusu binlerce hatta milyonlarca satir tarar ama OLTP sistemlerdeki operasyonlarda çok az sayida satira erisilir.

--Tarihî Bilgi:Tarihi analizleri destekleyebilmek için veri ambarlarinda aylarca hatta yillarca zamanlik veri depolanir.Ama OLTP sistemlerde en fazla birkaç haftalik yada aylik bilgi depolanir.

Veri Ambari Mimarisi

Veri ambarlari ve onlarin mimarileri organizasyonlarin durumuna göre degiskenlik gösterir.Üç temel mimari sunlardir:

--Veri Ambari Mimarisi(basit) :Uç kullanicilar degisik kaynaklardan toplanan veriye direk ulasirlar. OLTP sistemlerden gelen veri,metaveri ve ham veri olarak sistemde tutulur. Sistemde depolanan bir diger tipteki veri ise meta ve ham verinin islenmesi sonucu elde edilen ve veri ambari için çok önemli olan özet veridir. Oracle'da özetlere materialized view denir.

--Veri Ambari Mimarisi(Sahneleme alani içeren):Operasyonel verinin veri ambarina atilmasindan önce temizlenmesi ve bir ön islemden geçirilmesi gerekir.Bu is için bir sahneleme alani kullanilir.Bu özet verinin çikartilmasini ve veri ambari yönetimini kolaylastirir.

--Veri Ambari Mimarisi(Sahneleme alani ve veri çarsisi içeren):Organizasyon içindeki degisik gruplara göre veri ambarinin mimarisi kisisellestirilmek istenebilir.Bunu saglamak için kullanilan yapilara veri çarsisi denir. Veri çarsisi, yürütülmekte olan isin belirli alanlari için dizayn edilmis sistemlerdir. Örnegin, veri ambarinda satis yada satin almayla ilgili verilere uç kullanicilar ayri ayri ulasmak isteyebilir.

Materialized View'lar

Bu yapi bir sorgunun sonuçlarini ayri bir sema nesnesi içinde tutarak tablolara dolayli bir erisim saglar. Yer kaplamayan normal viewlarin aksine, bunlar bir veya daha fazla temel tablo yada viewdan yapilan sorgunun sonucunda olusan satirlari saklarlar. Sorgunun temel tablolariyla ayni veya farkli veritabanlarinda olabilirler.

 

 

OLAP KÜPÜ NEDİR

İlişkisel veri tabanlarının kullanımı ve sonrasında ortaya çıkan veri ambarlarının büyüklüğü ile beraber, verilere daha hızlı şekilde erişme ve çok boyutlu analiz ihtiyaçları doğmuştur. Çevrimiçi Analitik İşleme (OLAP) veritabanları karar destek sorgularını kolaylaştırır. OLAP, işlemleri işlemek yerine sorgulama ve raporlama için en iyi duruma getirilmiş bir veritabanı teknolojisidir. OLAP'ın kaynak verileri, yaygın olarak veri depolarında depolanan Çevrimiçi İşlem İşleme (OLTP) veritabanlarıdır. OLAP verileri bu geçmiş verilerinden türer ve karmaşık çözümlemelere izin veren yapılar halinde derlenir. OLAP verileri hiyerarşik olarak da düzenlenir ve tablo yerine küplerde depolanır. Çözümlenecek verilere hızlı erişim sağlamak için çok boyutlu yapılar kullanan karmaşık bir teknolojidir. Bu düzenleme, Özet Tablo raporu veya Özet Grafik raporunun, tüm ülke veya bölgedeki toplam satışlar gibi yüksek düzeyde özetleri görüntülemesini, buna ek olarak satışların bölgelere göre güçlü mü, yoksa zayıf mı olduğu konularında da ayrıntı görüntülemesini kolaylaştırır. OLAP veritabanları iki temel veri türü içerir: konuya hakim biçimde iş kararları almak için kullandığınız sayısal veriler, miktarlar ve ortalamalar olan ölçüler ve bu ölçüleri düzenlemek için kullandığınız kategoriler olan boyutlar. OLAP veritabanları, verileri çözümlemek için bildiğiniz kategorileri kullanarak verileri pek çok ayrıntı düzeyiyle düzenlemenize yardımcı olur.

OLAP KÜP BİLEŞENLERİ

Aşağıdaki bölümlerde bu bileşenlerin her biri daha ayrıntılı bir biçimde açıklanmaktadır:

Küp Ölçüleri, çözümlemek istediğiniz boyutların her birinin düzey ve hiyerarşilerine göre derleyen bir veri yapısıdır. Küpler; zaman, coğrafya ve ürün türü gibi çeşitli boyutları satış veya stok rakamları gibi özet verilerle birleştirir. Küpler, matematikte bildiğimiz anlamda birer "küp" değildirler, çünkü eşit kenarlara sahip olmaları gerekmez. Ancak, karmaşık bir kavram için yerinde bir benzetme olduğunu söyleyebiliriz.

Ölçü Bir küpte bulunan ve küpün bulgu tablosundaki bir sütunu temel alan değerler kümesidir ve genellikle sayısal değerler halindedir. Ölçüler, küpteki önceden işlenmiş, derlenmiş ve çözümlenmiş merkezi değerlerdir. Yaygın örnekler arasında satış, kar, gelir ve maliyet sayılabilir.

Üye Bir hiyerarşide, bir veya daha çok veri yinelenmesini temsil eden öğedir. Bir üye benzersiz veya benzer olabilir. Örneğin, bir zaman boyutunun yıl düzeyinde 2007 ve 2008 benzersiz üyeleri temsil eder, ancak ay düzeyinde Ocak benzer üyeleri temsil eder çünkü birden fazla yılın verilerini içeriyorsa zaman boyutunda birden fazla Ocak bulunabilir.

Hesaplanan üye Değeri çalışma esnasında ifade kullanılarak hesaplanan boyut üyesidir. Hesaplanan üye değerleri diğer üyelerin değerlerinden türetilebilir. Örneğin, Kar hesaplanan üyesi, Maliyetler üyesinin değerini Satışlar üyesinin değerinden çıkararak belirlenebilir.

Boyut Bir küpte, kullanıcının anladığı ve veri çözümleme için temel olarak kullandığı düzenlenen bir veya daha fazla düzey hiyerarşileri grubudur. Örneğin bir coğrafya boyutu Ülke/Bölge, İl/İlçe ve Şehir için düzey içerebilir. Ya da bir zaman boyutu yıl, çeyrek, ay ve gün için hiyerarşi düzeyleri içerebilir. Özet Tablo raporu veya Özet Grafik raporunda, her hiyerarşi, daha düşük veya daha yüksek düzeyleri göstermek için genişletebileceğiniz ve daraltabileceğiniz alanlar kümesi haline gelir.

Hiyerarşi Boyutun üyelerini, her üyenin bir üst üyesi ve sıfır veya daha fazla alt üyesi olacak şekilde düzenleyen mantıksal ağaç yapısıdır. Alt öğe, geçerli üyeyle doğrudan ilgili bir hiyerarşide bir sonraki alt düzeyin bir üyesidir. Örneğin Çeyrek, Ay ve Gün düzeylerini içeren bir Zaman hiyerarşisinde Ocak Çyr1'in alt öğesidir. Üst öğe, geçerli üyeyle doğrudan ilgili bir hiyerarşide bir sonraki üst düzeyin bir üyesidir. Üst değer genellikle bütün alt öğelerin değerlerinin birleşimidir. Örneğin; Çeyrek, Ay ve Gün düzeylerini içeren bir Zaman hiyerarşisinde, Çyr1 Ocak'ın üst öğesidir.

Düzey Bir hiyerarşi içinde, veriler alt ve üst ayrıntı düzeyleri olarak düzenlenebilir. Örnek olarak Zaman hiyerarşisinde Yıl, Çeyrek, Ay ve Gün düzeyleri verilebilir.

OLAP VERİTABANININ ÖZELLİKLERİ

Çok boyutlu inceleme özelliğine sahip olması Şeffaflık Erişilebilirlik Her seviyede sorgulama için aynı performansı gösterebilme özelliği İstemci-Sunucu yapısında olması Sınırsız şekilde çapraz raporlama olanağının olması En alt seviyedeki verilerin otomatik olarak ayarlanması Her şarta uygun boyutlandırılabilir olması Çok kullanıcı desteğinin olması Her seviyede verilerin değiştirilebilir olması Esnek raporlama özelliği, Boyut ve gruplamalarda sınır olmaması şeklindedir

OLAP, yukarıdan aşağıya doğru bakmak isteyen, detaylarla uğraşmaktan yorulan yöneticiler ve analistlerin, verilere çok hızlı şekilde bakabilmelerini sağlayan bir veri kümesidir. “Kim?” ve “Ne Zaman?” sorularından başka, “Neden?” ve “Eğer şu olursa...” sorularının da yanıtını verir. (Ör : Eğer şeker fiyatları 5% lira ve taşıma maliyetleri 10% düşerse, yıllık, çeyrekler, aylık, haftalık ve günlük bazında kârlılık ne olur gibi. Hatta abartılırsa ve veritabanı buna müsaitse saat ve dakikaya dahi inilebilir.) Bu kırılımdaki raporların performansı hep aynıdır. Yani raporu yıllık sorgulama ile saatlik sorgulama arasında geçen süre aynıdır.

Akıllı raporlama araçları sayesinde, neden sorularının cevapları da kolaylıkla alınabilmektedir. Genel eğilimden farklılık gösteren, uç değerler yaratan elemanları birçok analiz aracı, sayısal detaylara girmeden, sadece renklerle bile görüntüleyebilmektedir.

OLAP’ı sadece büyük özet tablolar gibi yorumlamak doğru olmaz. Excel kullanıcıların tanıdıkları pivot tabloların, çok gelişmiş ve hızlı bir hali olarak düşünüle bilir. Tasarlanan bir OLAP yapısının, hiyerarşilerini ve boyutlarını görmek mümkün olsa da, verileri nasıl tuttuğunu, nasıl sorgulanacağını sadece mdx sayesinde görebiliriz. Fakat dışarıdan baktığımızda iç içe geçmiş küpler olarak yorumlayabiliriz. Bu nedenle OLAP yapılarına, “küp” adı verilmiştir.

Bir veri ambarınızın olması, OLAP’a ihtiyacınız olmadığı anlamına gelmez. Veri ambarları ve OLAP birbirlerinin tamamlarlar. Veri ambarı verileri barındırmaya yarar. OLAP ise, bu yığın halinde duran verileri anlamlı hale getirip analizler yapmaya yarar.

Örnek vermek gerekirse; pazarlama departmanlarında pazar araştırmalarında, satış tahminleri, promosyon ve kampanya analizleri, müşteri analizleri sonuçlarının değerlendirilmesi ve demografikler bazında incelenmesi seviyesinde de olmazsa-olmaz araçlardan biri olarak yer almaktadır. Üretim ile ilgili uygulamaları ise en yoğun olarak üretim planlama ve hata analizleridir. Farklı ürün tipleri ile çalışılan yapılarda, çok boyutlu düşünme imkanı sayesinde maliyetler ve fiyatlamalar, kolaylıkla çıkarılabilmektedir. Finans departmanları ise OLAP’ı bütçeleme, finansal performans analizleri ve finansal modelleme amaçları ile kullanabilir. Strateji belirleme, Satış analizleri ve gelecek tahminleri ise, satış departmanlarındaki OLAP uygulamadır.