Bu makalemde bazı temel dwh bilgilerini paylaşmak istiyorum.Umarım faydalı olabiliriz..

Veri Ambarı kavramını açıklamak için birçok tanımlama yapılabilir ama basitçe tanımlayacak olursak Veri Ambarları bir şirketin bütün verilerini depolamak için oluşturulan alanlardır. Veriler değer derecelerine ve iş ilişkilerine göre toplanır.

Veri Ambarı verimliliği, kar oranlarını ve rekabet avantajlarını korumak için şirketler açısından çok büyük bir öneme sahiptir. Şirketler verileri internet, çağrı merkezleri, satış merkezleri, döküm yönetimi gibi birçok kaynaktan alır. Veriler toplanırken Data Life Cycle Management(Veri Yaşam Döngüsü Yönetimi) denilen konveyör banttan geçirilir.

Şirketin veri yaşam döngüsü yönetimi politikaları veri ambarının tasarımını ve yöntemlerini şekillendirir.

 

Şekil 1. Veri Ambarı Yapısına genel bir bakış

 

PRE-Data Warehouse

Bu aşama, asıl data warehouse tarafına veri sağlayan aşamadır. Burada dwh tasarımcıları hangi verinin hangi iş birimine gireceğine açıklık getirirler.

OLTP veritabanları operasyonel verilerin saklandığı veritabanı sistemidir. OLTP veritabanları, Kurumsal Kaynak yönetimi, Tedarik Zinciri, Satış YÖnetimi, Müşteri Hizmet Yazılımları gibi projelerde bulunabilir.Bu tarz database'ler işlem hızı ve doğruluğu için dizayn edilirler.

Metadata, verinin yaşam döngüsüne girilmesindeki doğruluğu sağlar ve veri ilişkilerinin, formatının doğruluğunu sağlar.

Data Cleansing

Veriler veri ambarına girmeden önce ETL sürecinde data quality eşiğini geçer. Burada verilerin ne şekilde kullanılacağı netleştirilir istenilen formata sokulur. Mesela marangozun masa yapmaya başlamadan önce ağacı yontup masanın ayaklarını gövdesini oluşturması gibi düşünülebilir.

Ayrıca ETL, verinin scheduled olarak da OLTP veritabanından extract edilmesinden sorumludur.

Data Repositories

Data Repository ler(veri depoları) iş kapsamının aktif verisini saklarlar. The Data Warehouse modeling design(Veri ambarı model tasarımı), veri analistleri için optimize edilmiştir.

DWH' ın data warehouse, data mart ve ODs gibi varyantları vardır. Data Mart kavramı fiziksel olarak data warehouse'dan farklı bir kavram değildir.Şöyle açıklanabilir ki data mart' lar dwh' ın iş birimlerince kategorize edilmiş halidir. Mesela A şirketi için bir data warehouse kavramı varsa, Bu kapsamda IK için, Pazarlama için, IT için ayrı ayrı data warehouse gibi data martlar vardır.

Data Warehouses(Veri Ambarları), veriyi toplar ve geçmiş veriler için bir depo teşkil eder. Bu yüzden sürekli güncel analiz için verimli değildir.İşte tam burada ODS(Operasyonel data store) devreye girer. ODS, verilerin datawarehouse'a girmeden önceki son halini saklar.

ODS, OLTP den derin geçmişi olan verileri saklamak için kullanılır.OLTP sistemlerde Büyük miktarda veri saklamak kaynak kısıtına ve işlem yavaşlığına yol açar.

Front-End Analysis

DWH ın en kritik ve son aşaması Front-End Analysis kavramıdır. Burada kullanıcılar repository'lerde depolanmış veriyle etkileşim halinde çalışırlar.

Veri madenceiliği, verinin en faydalı kullanım yolunu keşfetmektir.Veri madenciliği tahmin analizleri ve sınıflandırması için kullanılır. Mesela bir müşterinin rakip firmaya kayma sebeplerinin analizi gibi.

OLAP(Online Analytical Processing), geçmiş verilerin ve gerekli iş bilgilerinin parça parça, istenilen bazda analizini sağlar. Bu modül en çok pazarlama yöneticilerince kullanılır. Veriyi en işe yarar şekilde kullanmak için OLAP çok önemli bir faktördür. OLAP ve OLTP raporlarına şöyle bir örnek verirsek sanırım ayrım daha net anlaşılır :

OLTP : Şirketin kaçtane müşterisi var?

OLTP : Şirketin, yıl bazında belli yaş grupları arasındaki 2000 liranın üzerinde alışveriş yapan müşterilerinin bölgesel dağılımı. gibi..

Raporlama araçları(reporting tools) veriler hakkındaki raporları sağlamak için kullanılır,  veriler iş ve performans göstergelerinin takibi arasındaki ilişkiyi göstermek için görüntülenir.

Veri görselleştirme araçları(Data Visualization tools) ise veri deposundan veri görüntülemek için kullanılır. Genelde veri madenciliği ve OLAP tool ları ile birleştirilir. Veri görselleştirmesi kullanıcıya verilerin birbirleriyle ilişkisini, mimarisini göstermek için işlemesine olanak sağlar.

Data Cleansing, data martlarımızı oluşturmadan önce mutlaka ayarlanması gereken ve ilerde ETL süreçlerimizde bizi sıkıntıya sokacak türden verilen kullanımını engeller ve aynı formata girmesini sağlar.Örneğin tarih alanlarımızda a,d,56,!..vb gibi karakterler görüyorsak bunları null,sysdate veya bizim belirlediğimiz herhangi bir alanda istediğimiz şekilde o veriyi tutmamız gerekecektir.

İşte bu yüzden işzekası nda bulunan bu güzel yazıyı paylaşıyorum

Data Mart
Önceki bölümde bahsettiğim gibi işletmenin OLTP sistemlerini İş Zekası platformuna veri kaynağı olarak tanımlamamız durumunda ciddi sorunlarla karşılaşabiliriz. Bu sorunların önüne geçebilmek için OLTP sisteminde yer alan verileri OLTP sistemi dışında, ayrı bir alana aktarırız ve yapacağımız hesaplamalara kaynak olarak bu veri kaynağını kullanırız. Bu ayrı alana Data Mart adını veriyoruz.

Data Mart’ların Özellikleri
Data Mart’lar İş Zekası çözümüne kaynak olarak tasarlandıkları için, işleri işletmenin günlük işlemlerini yürütmek olan OLTP sistemlerden farklı bir yapıya sahiptirler. Normalizasyon kurallarına bağlı olarak tasarlanmalarına karşın, data mart’lar hızlı erişime göre optimize edilmişlerdir. Data Mart bir ilişkisel beritabanı olmakla birlikte, daha az join gerektirecek şekilde tasarlanırlar. Data Mart’larda hız kazanmak amacıyla denormalize (tekrarlayan) veri kabul edilebilir.

Bir Data Mart tasarımı yaparken, normalizasyon kuralları “fact”ler etrafında kümelenen farklı bir yapı ile değiştirilirler. Yeni tasarım yapısı “stars” ve “snowflakes” olarak adlandırılırlar. Bu iki kavramı bu ve sonraki bölümlerde inceliyor olacağız.

Gerçek Zamanlı Olmayan Veri
OLTP sistemler business transactionlara dair verileri bu transactionlar gerçekleştiği anda kaydeder. Data Mart’lar ise belirli aralıklarla güncellenirler. Veri OLTP sistemlerden belirli aralıklarla Data Mart’a aktarılır. Bu işleme “data load” olarak adlandırılır.

Data Mart’lar OLTP sistemlerden tamamen ayrı oldukları için, İş Zekası uygulamalarının Data Mart’lara erişimleri, OLTP sistemler üzerinde herhangi bir yük oluşturmaz. Bu durumun tek istisnası, data load işlemidir. Data Load sırasında OLTP sistemler kopyalanacak verilerin hazırlanması için ciddi yük altına girebilirler. Burada avantajımız, data load işleminin scheduled olarak off-peak zamanlarda çalıştırılabilecek bir işlem olmasıdır.

Önceki bölümlerde değindiğimiz gibi, data mart’ta bulunan veriler gerçek zamanlı değildir. Çoğu durumda işlem gerçekleşmesi ile gerçekleşen işleme dair verilerin data mart’a aktarılması arasında zaman olur. Eğer data load işlemi her ay, ay sonu işlemlerinden sonra gerçekleşecek şekilde schedule edilirse, data mart 1 aylık gecikmeye sahip olacaktır. Data load gecelik olarak çalışırsa, data mart 1 günlük gecikmeye sahip olacaktır.

İş Zekası gereksinimlerinin tam ve doğru olarak karşılanabilmesi için kabul edilebilir ve uygulanabilir gecikme doğru olarak belirlenmeli ve altyapı bu gecikme süresine göre tasarlanmalıdır. Data mart tarafından sunulacak veriler, sağlıklı karar verme sürecini destekleyecek yeterlilikte olmalıdır. Bununla birlikte data load işlemi, OLTP sistemin üzerinde gereksiz bir yük oluşturacak sıklıkta olmamalıdır.

Konsolidasyon ve Cleansing
Farklı OLTP sistemlerden gelen veriler tek bir data mart içinde birleştirilebilirler. Bu bazı complex hesaplamaları yapmamızı sağlar. Ancak daha önce bahsettiğim gibi bu gereksinimin önünde bazı engeller vardır. Birden çok OLTP sistem, veriyi saklamak için farklı formatlar kullanıyor olabilir. Aynı türden veri için tutarsız veri türleri ile karşılaşabiliriz. Aynı entity için eşleşmeyen identifier alanlar söz konusu olabilir ve farklı zamansal periyod ve tarih formatları kullanılıyor olabilir. Tüm bu farklılıklar, farklı sistemlerde yer alan verilerin birleştirilmesini zorlaştıracaktır.

Bu tür sorunlar veriler data mart’ta saklanmadan önce çözümlenmelidir. Bunun için cleansing adını verdiğimiz işlemi gerçekleştiririz.

Data Cleansing verileri data mart ortamında sorunsuz bir şekilde kullanabileceğimiz hale getirir. Tutarsız veri türlerini tek bir türe dönüştürür. Eşleşmeyen identifier alanları standart bir yapıya çevirir. Yapacağımız hesaplamalar için uygun olmayan verileri düzenler veya siler.

Data cleansing genelde daha büyük bir işlemin bir parçası olarak gerçekleştirilir. Bu büyük işlem verileri OLTP sistemden alır ve data mart’a aktarır. Bu nedenle bu sürecin tümüne verilen isim “extract, transform and load” kelimelerinin kısaltması olan ETL’dir. ETL süreci verileri OLTP sistemden alır, gerekli cleansing işlemlerini gerçekleştirir ve veriyi data mart’a aktarır.

  

Microsoft, verinin olusumundan/depolanmasından baslayarak, son kullanıcının

mevcut veri uzerinden gecmisle ilgili analiz ve gelecekle ilgili kestirimlerde bulunmasını

sağlayacak bir dizi arac ve yontem sunmakta ve bunların butunune “İs Zekası”

uygulamaları demektedir.

Karar vericilerin en doğru kararları verebilmesi icin organizasyonun urettiği verilerin

veritabanı uzmanlarınca en doğru sekilde yapılandırılarak saklanması, gerektiğinde

farklı ortamlardan alınan verilerin uygun bir bicimde bir araya getirilmesi ve veri

analistlerince uygun yontemlerle is analistlerine sunulması ve is analistlerince

yorumlanarak karar vericilerin anlayabileceği bicime donusturulmesi gerekmektedir.

Microsoft bu sureclere destek vermek icin SQL Server urununu OLTP veritabanı

sunucusu olarak, SQL Server Integration Services urununu veri transferi ve temizleme

aracı olarak, SQL Server Analysis Server aracını veri madenciliği ve analiz aracı

olarak, son olarak da SQL Server Reporting Services aracını, sonucları son kullanıcılara

gostermek amacıyla raporlama aracı olarak sunmaktadır.

Ayrıcı Excel ve bazı diğer web bilesenleriyle, veri madenciliği ve analizi sonuclarını son

kullanıcıların daha rahat ve etkin kullanacağı araclar da sunmaktadır

. İş Zekâsı ve Microsoft

Günümüzde işletmeler için kullanılabilir bilgi çok önemli bir değerdir. 21. yüzyıl

ekonomisinin rekabetçi ortamında, firmaların sürdürülebilir rekabet avantajı

sağlayabilmeleri için bilginin gücünü daha etkin bir şekilde kullanabilmeleri gerekir.

Kurumların bilgiyi kullanma çabalarında ulaşılan son aşama, iş zekâsı uygulamalarıdır. İş

zekâsına küçük-büyük tüm işletmelerin ihtiyacı vardır ve iş zekâsı çözümleri karar alma

süreçlerinde önemli rol oynar.

Kurum ve kuruluşların karar vericileri, en doğru kararı verebilmek için en doğru bilgilere

gereksinim duymaktadırlar. Karar vericilere bilgiye dayalı ilerleme imkânı sunarak,

kurumun gelir ve performansını en üst düzeye ulaştırmayı hedefleyen iş zekâsı

uygulamaları, tüm kuruluşlara rekabet gücü sağlamaktadır.

Hedefi yüksek performansa ulaşmak olan kurum ve kuruluşlar için bilgiye ulaşmak, ulaşılan

bilgileri paylaşmak ve kullanabilmek hayati öneme sahiptir. Bunu gerçekleştirmenin en

kolay, pratik ve güvenilir yolu iş zekâsı çözümleridir. İş zekâsı çözümleri, kurum içi ve dışı

verileri bir platformda toplayıp analiz etme yeteneğinde olup işletmelerin bilgiyi

yönetebilmeleri ve bir değere dönüştürebilmelerine imkân tanır. Dolayısıyla

organizasyonların daha yüksek performans düzeyine ulaşmalarına yardımcı olur,

operasyonel verimlilik ve şeffaflık sağlar. Aynı zamanda CRM “Customer Relations

Management” , ERP “Enterprice Resource Planning” gibi kurumda şu ana kadar yapılmış

olan iş ve BT “Bilgi Teknolojileri” yatırımlarının da etkin geri dönüşüne imkân sağlar.

İş zekâsı uygulamaları sayesinde karar vericiler, stratejik ve operasyonel kararlarında daha

doğru ve hızlı adımlar atabilmektedirler. İş zekâsı çözümleri, etkin bilgi yönetimi sürecinin

vazgeçilmez bir parçası olarak karşımıza çıkmaktadır. İş zekâsı çözümleri, başlangıçta daha

çok kurum ve kuruluşlarda karar vericilere hitap eden bir çözümler bütünü olarak ortaya

çıkmıştır. Hâlbuki sadece karar vericilerde değil, kurumların her aşamasında iş zekâsı

uygulamalarına ihtiyaç vardır ve her aşamada kritik bir öneme sahiptir.

İş zekâsı uygulamalarıyla, verilerin bilgiye, bilginin yoruma, yorumun karara ve kararın

eyleme dönüştürülebilmesi mümkün hale gelmektedir. İş zekâsını bir süreç olarak

düşünürsek; veri bilgiye, bilgi yoruma, yorum karara ve karar eyleme dönüştüğünde gerçek

bir iş zekâsından bahsedilebilmektedir.

Neden Microsoft Araç Seti?

Microsoft teknolojilerini kullanarak bir DW/BI (Data Warehouse / Business Intelligence)

sistemini nasıl inşa edeceğimizi tarif etmeye devam etmeden önce, şu soruyu sormak

yerinde olur: Microsoft araç setini ilgi çekici kılan ne?

Bütünlük: İşletim sisteminden, veritabanı motorlarından ve geliştirme ortamlarından Office

ve Excel masaüstüne kadar sadece Microsoft yazılımı kullanarak bütün bir DW/BI sistemi

inşa edebilirsiniz. Tüm bileşenlerin etkin bir şekilde birlikte çalışacağına duyacağınız

güvende ekstra bir rahatlık alanına sahipsiniz.

Düşük Sahip Olma Maliyeti: SQL Server'ın lisanslama maliyetleri diğer yazılım

üreticilerinin karşılaştırılabilir ürün kümelerine göre daha düşük olagelmiştir; ancak toplam

sahip olma maliyeti, lisanslama maliyetlerinin yanı sıra, sürekli destek, eğitim ve operasyon

maliyetlerine de bir o kadar bağlıdır. Microsoft, SQL Server sistemlerinin rakip ürünlere göre

daha az yönetsel kaynak gerektirdiğini iddia etmektedir. Organizasyonunuzda .NET

programlama yetenekleri zaten var olabilir. Eğer öyleyse, DW/BI sisteminizi özelleştirmek ve

genişletmek gerçekten kolay olabilir.

Açıklık: Her ne kadar tüm bir DW/BI sistemini Microsoft yazılımıyla inşa etmeniz

mümkünse de -ki bu kitap bunun nasıl yapılacağını anlatıyor- böyle davranmak zorunda

değilsiniz. Microsoft DW/BI çatısının her hangi bir bileşeni üçüncü bir parti ürünü için

çıkarılabilir ve pek çok müşteri Microsoft DW/BI sistemlerini heterojen ortamlarda

oluşturmaktadırlar.

Yüksek Performans ve Ölçeklenebilirlik: Bu kitabın yazıldığı sıralarda, terabaytlık

hacimlere sahip DW/BI sistemleri hayli yaygın ve 10-20 TB çok da nadir değil. DW/BI

sistemleri klikleme akışı ve RFID veri akışları gibi alt seviye işlemlere dayanmaya

yöneldikçe, ortalama büyüklükte organizasyonlar bile kendilerini "terabayt kulübü"nde

bulabilirler. Microsoft bu eğilimi fark etmiş durumda ve ürünlerini özellikle de SQL Server

bileşenlerini yüksek veri hacimlerinde iyi performans göstermek üzere test etmiş bulunuyor.

İş Zekâsında Microsoft Yatırımı: SQL Server 2005 iş zekâsı çözümleri, bir arada dikişsiz

değilse bile çok profesyonel dikişlere sahip olarak çalışan gerçek araçlardan oluşmaktadır.

Araçlardan bazıları -özellikle Analysis Services- türünün en iyileri. Tüm ürünler rakipleri

olan tek başına çalışan ürünlerle, sadece kendi özellikleriyle de rekabet edebilir durumdalar.

Microsoft açık bir şekilde mükemmel iş zekâsı uygulamaları geliştirmeniz için gerekli

araçları inşa etmeye kendini adamış bulunuyor. Ve Microsoft'un uzun bir süre boyunca

etrafta olacağına mantıklı bir güven duyabilirsiniz.

Yaygın Olarak Kullanılan İş Zekâsı Terimlerine Genel Bir Bakış

İşletmeler genellikle iş sistemlerinden ikisini kullanırlar. Bu sistemler;

1. Çevrimiçi hareket işleme (OLTP) olarak ta bilinen Operasyonel işlemler,

2. Kullanıcılara işlerinde daha etkili kararlar alabilmesini sağlayan ve bu amacı

gerçekleştirebilmek için operasyonel verileri uygun bir şekilde seçerek alan Karar

Destek Sistemleri’dir.

Bazı şirketler bu iki işlemi tek bir sistemde gerçekleştirmelerine rağmen genellik bu durum

aşağıda açıklayacağım nedenlerden dolayı pek uygun olmamaktadır.

· Operasyonel sistemler içinde bulunan OLTP verileri tekrarlamayı önlemek üzere

normalleştirilirler ve bu verilerin analiz işlemlerinde kullanılması için daha karmaşık

sorgular yazılmasını gerektirir.

· OLTP sistemler Veri Ekleme, Düzenleme ve Silme işlemleri için uyarlanmışlardır ve

genellikle yüksek bir indekslemeye tabii tutulmamışlardır. İndekslerin az olması

nedeniylede analitik verileri almak için kullanılan sorgularda performans problemleri

olması yüksek bir olasılıktır.

BI çözümlerinin temel hedefi geniş ölçekli karar destek yeteneği ve kullanıcıların iyi organize

edilmiş ve çeşitli kullanıcı gruplarından gelmiş verileri kolay kullanabileceği araçlar

sunmaktır. BU nedenle veriler OLTP sistemlerinde olsalar bile bir BI sistemine aktarılıp bu

sistemde etkin karar destek sorgulamalarına gidilmelidir.

Aşağıda BI çözümleri için kullanılan temel BI terimleri ve açıklamaları anlatılmıştır.

ETL : Operasyonel sistemlerde tutulan veriler işletmede kullanılan uygulamalara özel bir

şekilde tutulduğu için kullandığımız BI sistemine direkt olarak atılmaya uygun olmayabilir.

Bu tür heterojen yapılardan gelen verilerin BI sistemine Aktarılması, Uygun Şekilde

Çevrilmesi (işimize yaramayan verilerin ayıklanması, veri tiplerinin uygun hale getirilmesi,

vb.) ve son olarak BI sistemine Yüklenmesi işlemine ETL adı verilmektedir. ETL konusu

daha detaylı bir şekilde 4. bölümde işlenecektir.

Data Warehouse : Veri ambarı olarak da adlandırabileceğimiz Data Warehouse, BI

sistemlerinde kullanılan tutarlı verilerin tutulduğu merkezileştirilmiş ambarlardır. Bu kısa

tanımla birlikte aslında veri ambarları, veri analizi, veri madenciliği ve raporlama

işlemlerinin her biri için verinin farklı kopyalarını da tutarlar. Ayrıca sorgu performansını

artırmak için bir çok durumda Denomalize işlemine tabi tutulmaları gerekmektedir.

Data Mart : Data Mart’ları Veri Ambarının bir parçası olarak tanımlayabiliriz. Örnek vermek

gerekirse, bir şirket içerisinde bulunan Pazarlama ve Satış departmanlarına ait analizleri Veri

Ambarının tamamından değilde sadece Pazarlama yada sadece Satış departmanlarına ait

bölümlerinde çekip işlemeye Data Mart adını verebiliriz.

OLAP : Çevrimiçi Analitik İşleme olarakta bilinen OLAP en çok kullanılan analizlerden

olan çok boyutlu analizdir. Bu sayede veriyi işletmenin kabul ettiği sınırlar dahilinde bir

7

OLAP küpü içine yerleştirebilir ve bu şekilde detaylı bir analiz gerçekleştirebiliriz. Örneğin;

kullanıcıların satış toplamlarını ürüne, sipariş tarihine, müşteriye ve satıldığı lokasyona göre

ayrı ayrı gösteren bir küp oluşturabilriz.

Data Mining : Veri Madenciliği, veriyi analiz etmek ve veri içerisinde bulunan örnek ve

istatistiklere bağlı olarak tahmin yürütebilmek için matematiksel algoritmalar kullanan bir

çözümdür. Veri Madenciliği çözümleri içerisinde eğilimleri, kümeleri yada istatistiksel

ilişkileri barındıran bir yada daha fazla veri madeni algortiması içerebilir. Örneğin; bir

müşterinin daha önceden almış olduğu malları kullanıp o müşterinin hangi tür ürünlere

eğilim gösterdiği tahmin edilebilir ve müşteriye eğilim gösterdiği ürün kategorisinde yeni

çıkmış bir ürüne ait bilgiler gönderilebilir yada ona benzer özellikler gösteren farklı

müşterilerin almış oldukları diğer ürünler öneri olarak sunulabilir.

Dashboard ve Scorecard : İşletmenin kısa ve uzun vadeli taktik anlayışlarını belirlediği

araçlara verilen isimlerdir. Scoreboard’lar haftalık ve aylık taktik belirlemeye dolayısı ile

uzun vadeli işlemler için kullanılırken Dashboard’lar ise daha kısa süreli örneğin bir iki saat

aralıklarla bile güncellenebilirler. Bu nedenle Dashboardlar içerisinde scoreboard’lar

barındırılabilir.

Raporlama : Standart sabit raporlardan verilen parametrelere bağlı olarak belli seviyelerde

içerisinde gezinebileceğimiz raporlarımız olabilir. Ek olarak raporlama sistemi kullanıcılara

yetkilerine bağlı olarak raporların en güncel durumlarını otomatik olarak sunabilmelidir.

3. İş Zekası Adımları ve Microsoft’un İlgili Araçları ve

Teknolojileri

İş Zekası Adımları

Bir iş zekası projesini kolay bir şekilde yönetebilmek için bir çok şey yapılabilir. Aşağıda

bahsedilen konu başlıkları bir İş Zekası projesini nasıl daha yapısal ve disiplinli bir hale

getirebileceğimiz anlatılmaktadır.

İş Zekası Projesindeki farklı İş Zekası Komponentlerini Alt Projelermiş gibi

Değerlendirmek

Bir İş Zekası projesi; Çekme, Dönüştüme, Yükleme(ETL), Veri Madenciliği(Data Mining),

Çevrimiçi Analitil İşleme(OLAP) ve Raporlama gibi birbirlerinden farklı bir çok alt

komponentten oluşur. Geliştirme aşamasında bu alt komponentlerin her birini Ana Proje

altında alt projeler olarak ayrı ayrı tanımlayarak bu alt projelere özel ihtiyaçları daha

kolaylıkla ortaya çıkarabiliriz. Örneğin; yukarıda da bahsettiğim gibi İş Zekası projesi

8

içerisinde ETL ve OLAP işlemleri o projenin bütününde yer almasına rağmen, ETL, veri akışı

ve bu verilerin işleme sıralamasıyla alakalı işleri yaparken, OLAP ise ETL’de işlenip Veri

Ambarına aktarılmış haline çok boyutlu analizler yapmak üzere tasarlanmıştır. Bu

farklılıklardan dolayı bu iki işlemi ayrı projeler olarak değerlendirmek hem bu işlemlere özel

ihtiyaçların hem de her iki işlem arasında yapılacak bağlantıların belirlenmesini

kolaylaştıracaktır.

Analiz Çözümleri Veri Modellemesi için İşletme Gereksinimlerini Kullanmak

Veri Ambarı ve OLAP küpleri için en önemli unsure işletme ihtiyaçlarını karşılayan Veri

Modelleri kullanmaktır. Bu nedenle veri modelleri oluşturulurken sadece işletmenin

kendisini değil işletmeyle birlikte iş yapan diğer kurumları da, işletmeyle ilişkilerine bağlı

olarak değerlendirip, bu değerlendirme sonuçlarına gore hazırlanmalıdır.

ETL Çözümünde Kullanılacak Veri Kaynakları ve Hedeflerini Belirlemek İçin

Analiz Sonuçları Kullanmak

Hangi Veri kaynağının kullanılacağı ve alınan verilerin nereye yükleneceğinin belirlenmesi

İş Zekası projelerinin en önemli adımını oluşturmaktadır. Bu nedenle projeye başlamadan

önce bu analizlerin düzgün bir şekilde yapılması gerekmektedir. Analiz esnasında aşağıda

yazılı unsurların kesinlikle belirlenmesi projenin başarıyla sonuçlanmasında önemli bir yer

teşkil etmektedir.

1. Kesin Kaynaklar ve bu kaynaklara ait karakteristikler(Veri Tipi vb.)

2. Veriyi çekmek için kullanılacak teknoloji. Örneğin OLEDB kullanarak mı yoksa

ODBC kullanarak mı veri kaynağına bağlanacağız?

3. Çekilecek verinin boyutu

4. Ne sıklıkta veri çekileceği

5. Çekilen veriyi doğrulama ve çevirme işlemine tabi tutulup tutulmayacağı

6. Çekilen verinin saklanması için araya başka veri kaynaklarının alınıp alınmayacağı

İhtiyaç analizi yukarı bahsedilen adımların detaylı bir şekilde tanımlanması işletme için en

uygun ETL çözümünü sunmamızı sağlayacaktır. Bu adımda önemle durulmalıdır çünkü

ETL çözümleri hatalı yada eksik analizler neticesinde çok büyük zaman ve para kaybına

neden olabilirler.

Raporlama Çözümleri İçin Analiz Sonuçları Kullanmak

Bir İş Zekası projesinde OLAP küpleri ve veri kaynakları raporlama amacıyla kullanılabilir.

Raporlama çözümlerinde sıklıkla kullanılan yöntem son kullanıcıların hali hazırda

kullandıkları raporları örnek alıp o raporlara uygun çözümler sunmak işimizi

kolaylaştırabilir. Aynı şekilde yeni projeyle yeni raporlama ihtiyaçlarıda ortaya çıkacağından

bu ihtiyaçların karşılanması için, yöneticiler, son kullanıcılar, kısacası tüm kademelerdeki

çalışanların görüşleri alınıp alınan bu görüşlerin dokümante edilmesi gerekir. Tüm

raporlama çözümleri aşağıda yazılı unsurları ne kadarını karşılayacağı önceden

belirlenmelidir.

1. Detay seviyesi

2. Rapor üretim sıklığı

SAP (System Applications and Products)

 Bu yazımızda SAP'nin piyasaya çıkış serüveni ile birlikte temel olarak dayandığı mimariye değineceğiz. SAP sistemlerini tanımak ve genel hatları ile mimarisini anlamak için önsöz niteliğinde bir yazı ile başlayalım istedik.

 

SAP 1972 yılında, IBM ‘de çalışan beş kişi ( Dietmar Hopp, Hans-Werner hector, Hasso Plattner, Klaus Tschira ve Claus Wellenreuther) tarafından, Almanya ‘nın , Mannheim kentinde, ufak bölgesel bir şirket olarak kuruldu. Kurulduğu 70 ‘li yıllarda R/1 ve 80’li yılarlıda kapsayan R/2 sistemlerini geliştiren SAP, 1980 ler de geldiğinde hızla büyüdü ve Almanya ‘nın Heidelberg yakınlarında bulunan Walldorf ‘a taşındı. O yıllarda, Almanya ‘da ilk yüze giren Endüstri firmalarından çoğu SAP müşterisiydi. (ICI, BASF, John Dere) fakat büyüme sadece Almanya sınırlı değil, Almanya dışında da devam ediyordu. 80 ‘lerde gelişmesi devam eden R/2 sistemi, çok uluslu müşteripotansiyalini, dil, para, para birimi, ülkelere özgü yasal koşulları dikkate aldı. Bu çok uluslu yaklaşımı bugünde devam etmektedir. 1980 ‘lerin ortasında SAP ilk satış grubunu Almanyanın dışında, Avusturya ‘da başlattı. Geliri 52 milyon doları geçti ve büyük bilgisayar fuarlarında varlığını göstermeye başladı. 1988 içerisinde, SAP GmbH, SAP AG oldu ve o yıl Frankfurt ve Stuttgart borsaları üzerinde ticaret yapmaya başladı.

SAP başarılarını sürdürmeye devam etti ve 1990 ‘larda, gerçek bir uluslararası iş anlayışı geliştirdi. R/3 sistemini 1990 ‘larda tanıttı, bu ticari şirketler için bilgi işlem alanında dev bir adım oldu. Bu dev adımla birlikte kod yazma, uygulamalar, arayüzlere son kullanıcı daha rahat ulaşabilir, konfigre edebilir ve kod geliştirebilir oldu.

SAP R/3, üç katmanlı sunucu mimarisinden esinlenmişti. R/3 sistemininde esinlendiği bu mimari , temelde verileri bilgisayardan talep ederken bilgileri bölerek alır ve depolar. Başka bir deyişle üç katmanlı “three-tier” mimarisi ;

3 ana kısımdan oluşur, bunlar ; - Server yada Client - İş mantığı - Veritabanı ve bu veritabanını yönetimi ile ilgili program. Tipik bir three-tier uygulamada, uygulama kullanıcısının iş istasyonu; kullanıcıya arayüz sağlayan (GUI) programı, uygulamaya özel giriş formlarını ve etkileşimli pencereleri içerir. (Yerel veriler veya iş istasyonunun kullanıcısına özel veriler de yerel sabit diskte saklanır).İş mantığı, bir yerel alan ağ sunucusu veya başka bir paylaşımlı bilgisayarda bulundurulur. İş mantığı, iş istasyonlarından gelen istemci istemlerine sunucu olarak karşılık verir. Hangi verilerin gerekli olduğuna (ve nerede bulunduğuna) karar verir ve bir mainframe de bulunan 3. katman programı ile (bu kez) istemci olarak ilişki kurar.

 3. katman, veritabanını ve bu veritabanına okuma ve yazma erişimini yöneten programı içerir. Bir uygulamanın oluşumu daha karmaşık olmakla birlikte, bu 3 katmanlı görüş büyük ölçekli bir programdaki parçalar için uygun bir düşünce yapısı oluşturur. Three-tier bir uygulama istemci-sunucu modelini kullanır.

Her üç katman, farklı programlama dilleri ile çalışan farklı takımlar tarafından paralel olarak geliştirilebilir. Bir katmanın programı, diğer katmanlar etkilenmeden değiştirilebilir veya taşınabilir. Böylece, bir kuruluş için yeni ihtiyaçlar doğduğunda değişiklik yapmak kolay olur. Varolan uygulamaların tamamı veya bazı kritik kısımları geçici veya sürekli olarak saklanabilir ve eklenen yeni bir katmanın içine katılabilir. Bu 3 katlı mimari temel esasına dayanarak R/3 ;

Veri tabanı katmanı organizasyonun iş bilgilerini yönetir. Bu ana bölümlerin ana verileri ,bölümlerin ortak verileri ve veri tabanı yapısını tarif eden meta verileridir. Bütün verileri işlemek ve tanımlamak için SQL ( Structured Query Language –Yapısal Sorgu Dili) adlı endüstri standardı kullanılır. Belirli bir Pazar payına sahip ve organizasyonel amaçlar için uygun bütün ilişkisel veri tabanı yönetimi sistemleri (DBMS) SAP R/3 tarafından desteklenir.

 İlişkisel veri tabanı üzerine yerleştirilmiş uygulamalar ikinci katmanı oluşturur. Bunlar veri tabanı katmanından aldıkları bilgilerle çalışır ve sonuç verilerini yine bu katmana yazarlar .R/3 sistem uygulamaları da ,ABAP programlama dili ile yazılan özel olarak yazılmış uygulamalar gibi... bu katmanda çalışır. Uygulamalar veri tabanından istediği gibi çağrılır,uygulama katmanına yüklenir ve burada çalıştırılır. Kullanıcı ara yüzü olarak da bilinen sunum katmanı diğer adıyla prezantasyon katmanı ,kullanıcıya en yakın şekilde yerleştirilmiştir .Kullanıcının her gün kullandığı grafik ara yüz bu katmanın bir parçasıdır.SAP uygulamaları ABAP/4 adlı ,SAP tarafından geliştirilmiş dördüncü nesil bir dille yazılır . İşletmenin ihtiyaçlarını karşılamak için gerekli değişiklikler bu dil yardımıyla yapılır. SAP, AR-GE ‘ye kurulduğu gün itibariyle önem vermiş, günümüzde bu öneme devam etmektedir. Geliştirmeleriyle bugün dünyanın neredeyse her ülkesinde başarıyla hizmet veren çokuluslu bir firmadır…

 

IBM'den çevre dostu veritabanı sistemi

IBM’in yeni DB2 veritabanı sürümü, veri saklama altyapılarından kaynaklanan karbon salınımını %75’e varan oranda azaltarak, küresel ısınmayla savaşıyor.

IBM, yeni DB2 veritabanında yüksek ölçekli sıkıştırma teknolojisini kullanarak, aynı sabit disk üzerinde 4 kat fazla veri saklamayı mümkün kılıyor. Bu sayede, sürekli çalışan sabit disklerin harcadığı ve ünitelerin soğutulması için kullanılan enerjiyi %75 oranında düşürüyor. DB2, kurumlarda sürekli depolanması ve erişilmesi gereken verilerin yol açtığı karbon salınınımını da aynı oranda azaltıyor. DB2’nin 9.7 sürümü, Haziran ayında satışa sunulacak.  
    
Şirketler tarafından üretilen bilginin katlanarak artması, veri altyapısı üzerinde çok büyük bir yük oluşturuyor, daha fazla verinin depolanması ve yönetilmesi, güç ve soğutma gereksinimini artırıyor.IBM Türk Yazılım Ürünleri Satış Müdürü Server Tanfer, “Dünyada her gün yaklaşık 15 Milyon Gigabyte bilgi üretiliyor. Sistem disklerinin enerji gereksiniminden yola çıkarak küçük bir hesap yaparsak, sadece 1 yıl içinde üretilen bilgiyi saklayıp erişmek istediğimizde, diskler saatte 0.4 KW elektrik yakan 1.375.000 haneden oluşan bir şehrin tükettiği kadar elektrik ve soğutma enerjisi isteyecektir. Çoğu şirketin verilerini 1 yıldan daha uzun süreler sabit disklerde sakladığını da unutmamak gerekir. DB2 veritabanının ‘deep compression’ adını verdiğimiz benzersiz veri sıkıştırma teknolojisi, aynı disk üzerinde çok daha fazla veri saklayarak toplam disk ve enerji ihtiyacını önemli ölçüde düşürüyor.” dedi.

Kod adı “Cobra” olan yeni DB2 sürümü, işyükü optimizasyon özelliği sayesinde, mali kapanış dönemleri gibi kısıtlı sürelerde büyük iş yüklerinin tamamlanması gereken durumlarda performansıyla öne çıkıyor. İş yükünün tipine göre kendi kendini en yüksek performansa göre ayarlayan DB2, bu ayarları yapacak uzman istemediği için önemli işgücü tasarrufu da sağlıyor. IBM müşterileri, yazılım geliştiricileri ve çözüm ortakları, IBM'in Erken Erişim Programı’ndan yararlanarak piyasaya çıkmadan önce DB2 9.7'yi test edebiliyor.