joomla templates Data Warehouse Türkiye

Sun08072011

Last update07:32:32 PM GMT

Back Home
Çarşamba, 12 Ocak 2011 12:52

Microsoft Datawarehouse'a Varım diyor!

Yazan&Gönderen  Yusuf Arslan
Bu Öğeyi Derecelendir
(3 Oylar)

Microsoft, verinin olusumundan/depolanmasından baslayarak, son kullanıcının

mevcut veri uzerinden gecmisle ilgili analiz ve gelecekle ilgili kestirimlerde bulunmasını

sağlayacak bir dizi arac ve yontem sunmakta ve bunların butunune “İs Zekası”

uygulamaları demektedir.

Karar vericilerin en doğru kararları verebilmesi icin organizasyonun urettiği verilerin

veritabanı uzmanlarınca en doğru sekilde yapılandırılarak saklanması, gerektiğinde

farklı ortamlardan alınan verilerin uygun bir bicimde bir araya getirilmesi ve veri

analistlerince uygun yontemlerle is analistlerine sunulması ve is analistlerince

yorumlanarak karar vericilerin anlayabileceği bicime donusturulmesi gerekmektedir.

Microsoft bu sureclere destek vermek icin SQL Server urununu OLTP veritabanı

sunucusu olarak, SQL Server Integration Services urununu veri transferi ve temizleme

aracı olarak, SQL Server Analysis Server aracını veri madenciliği ve analiz aracı

olarak, son olarak da SQL Server Reporting Services aracını, sonucları son kullanıcılara

gostermek amacıyla raporlama aracı olarak sunmaktadır.

Ayrıcı Excel ve bazı diğer web bilesenleriyle, veri madenciliği ve analizi sonuclarını son

kullanıcıların daha rahat ve etkin kullanacağı araclar da sunmaktadır.

 

. İş Zekâsı ve Microsoft

Günümüzde işletmeler için kullanılabilir bilgi çok önemli bir değerdir. 21. yüzyıl

ekonomisinin rekabetçi ortamında, firmaların sürdürülebilir rekabet avantajı

sağlayabilmeleri için bilginin gücünü daha etkin bir şekilde kullanabilmeleri gerekir.

Kurumların bilgiyi kullanma çabalarında ulaşılan son aşama, iş zekâsı uygulamalarıdır. İş

zekâsına küçük-büyük tüm işletmelerin ihtiyacı vardır ve iş zekâsı çözümleri karar alma

süreçlerinde önemli rol oynar.

Kurum ve kuruluşların karar vericileri, en doğru kararı verebilmek için en doğru bilgilere

gereksinim duymaktadırlar. Karar vericilere bilgiye dayalı ilerleme imkânı sunarak,

kurumun gelir ve performansını en üst düzeye ulaştırmayı hedefleyen iş zekâsı

uygulamaları, tüm kuruluşlara rekabet gücü sağlamaktadır.

Hedefi yüksek performansa ulaşmak olan kurum ve kuruluşlar için bilgiye ulaşmak, ulaşılan

bilgileri paylaşmak ve kullanabilmek hayati öneme sahiptir. Bunu gerçekleştirmenin en

kolay, pratik ve güvenilir yolu iş zekâsı çözümleridir. İş zekâsı çözümleri, kurum içi ve dışı

verileri bir platformda toplayıp analiz etme yeteneğinde olup işletmelerin bilgiyi

yönetebilmeleri ve bir değere dönüştürebilmelerine imkân tanır. Dolayısıyla

organizasyonların daha yüksek performans düzeyine ulaşmalarına yardımcı olur,

operasyonel verimlilik ve şeffaflık sağlar. Aynı zamanda CRM “Customer Relations

Management” , ERP “Enterprice Resource Planning” gibi kurumda şu ana kadar yapılmış

olan iş ve BT “Bilgi Teknolojileri” yatırımlarının da etkin geri dönüşüne imkân sağlar.

İş zekâsı uygulamaları sayesinde karar vericiler, stratejik ve operasyonel kararlarında daha

doğru ve hızlı adımlar atabilmektedirler. İş zekâsı çözümleri, etkin bilgi yönetimi sürecinin

vazgeçilmez bir parçası olarak karşımıza çıkmaktadır. İş zekâsı çözümleri, başlangıçta daha

çok kurum ve kuruluşlarda karar vericilere hitap eden bir çözümler bütünü olarak ortaya

çıkmıştır. Hâlbuki sadece karar vericilerde değil, kurumların her aşamasında iş zekâsı

uygulamalarına ihtiyaç vardır ve her aşamada kritik bir öneme sahiptir.

İş zekâsı uygulamalarıyla, verilerin bilgiye, bilginin yoruma, yorumun karara ve kararın

eyleme dönüştürülebilmesi mümkün hale gelmektedir. İş zekâsını bir süreç olarak

düşünürsek; veri bilgiye, bilgi yoruma, yorum karara ve karar eyleme dönüştüğünde gerçek

bir iş zekâsından bahsedilebilmektedir.

Neden Microsoft Araç Seti?

Microsoft teknolojilerini kullanarak bir DW/BI (Data Warehouse / Business Intelligence)

sistemini nasıl inşa edeceğimizi tarif etmeye devam etmeden önce, şu soruyu sormak

yerinde olur: Microsoft araç setini ilgi çekici kılan ne?

Bütünlük: İşletim sisteminden, veritabanı motorlarından ve geliştirme ortamlarından Office

ve Excel masaüstüne kadar sadece Microsoft yazılımı kullanarak bütün bir DW/BI sistemi

inşa edebilirsiniz. Tüm bileşenlerin etkin bir şekilde birlikte çalışacağına duyacağınız

güvende ekstra bir rahatlık alanına sahipsiniz.

Düşük Sahip Olma Maliyeti: SQL Server'ın lisanslama maliyetleri diğer yazılım

üreticilerinin karşılaştırılabilir ürün kümelerine göre daha düşük olagelmiştir; ancak toplam

sahip olma maliyeti, lisanslama maliyetlerinin yanı sıra, sürekli destek, eğitim ve operasyon

maliyetlerine de bir o kadar bağlıdır. Microsoft, SQL Server sistemlerinin rakip ürünlere göre

daha az yönetsel kaynak gerektirdiğini iddia etmektedir. Organizasyonunuzda .NET

programlama yetenekleri zaten var olabilir. Eğer öyleyse, DW/BI sisteminizi özelleştirmek ve

genişletmek gerçekten kolay olabilir.

Açıklık: Her ne kadar tüm bir DW/BI sistemini Microsoft yazılımıyla inşa etmeniz

mümkünse de -ki bu kitap bunun nasıl yapılacağını anlatıyor- böyle davranmak zorunda

değilsiniz. Microsoft DW/BI çatısının her hangi bir bileşeni üçüncü bir parti ürünü için

çıkarılabilir ve pek çok müşteri Microsoft DW/BI sistemlerini heterojen ortamlarda

oluşturmaktadırlar.

Yüksek Performans ve Ölçeklenebilirlik: Bu kitabın yazıldığı sıralarda, terabaytlık

hacimlere sahip DW/BI sistemleri hayli yaygın ve 10-20 TB çok da nadir değil. DW/BI

sistemleri klikleme akışı ve RFID veri akışları gibi alt seviye işlemlere dayanmaya

yöneldikçe, ortalama büyüklükte organizasyonlar bile kendilerini "terabayt kulübü"nde

bulabilirler. Microsoft bu eğilimi fark etmiş durumda ve ürünlerini özellikle de SQL Server

bileşenlerini yüksek veri hacimlerinde iyi performans göstermek üzere test etmiş bulunuyor.

İş Zekâsında Microsoft Yatırımı: SQL Server 2005 iş zekâsı çözümleri, bir arada dikişsiz

değilse bile çok profesyonel dikişlere sahip olarak çalışan gerçek araçlardan oluşmaktadır.

Araçlardan bazıları -özellikle Analysis Services- türünün en iyileri. Tüm ürünler rakipleri

olan tek başına çalışan ürünlerle, sadece kendi özellikleriyle de rekabet edebilir durumdalar.

Microsoft açık bir şekilde mükemmel iş zekâsı uygulamaları geliştirmeniz için gerekli

araçları inşa etmeye kendini adamış bulunuyor. Ve Microsoft'un uzun bir süre boyunca

etrafta olacağına mantıklı bir güven duyabilirsiniz.

Yaygın Olarak Kullanılan İş Zekâsı Terimlerine Genel Bir Bakış

İşletmeler genellikle iş sistemlerinden ikisini kullanırlar. Bu sistemler;

1. Çevrimiçi hareket işleme (OLTP) olarak ta bilinen Operasyonel işlemler,

2. Kullanıcılara işlerinde daha etkili kararlar alabilmesini sağlayan ve bu amacı

gerçekleştirebilmek için operasyonel verileri uygun bir şekilde seçerek alan Karar

Destek Sistemleri’dir.

Bazı şirketler bu iki işlemi tek bir sistemde gerçekleştirmelerine rağmen genellik bu durum

aşağıda açıklayacağım nedenlerden dolayı pek uygun olmamaktadır.

· Operasyonel sistemler içinde bulunan OLTP verileri tekrarlamayı önlemek üzere

normalleştirilirler ve bu verilerin analiz işlemlerinde kullanılması için daha karmaşık

sorgular yazılmasını gerektirir.

· OLTP sistemler Veri Ekleme, Düzenleme ve Silme işlemleri için uyarlanmışlardır ve

genellikle yüksek bir indekslemeye tabii tutulmamışlardır. İndekslerin az olması

nedeniylede analitik verileri almak için kullanılan sorgularda performans problemleri

olması yüksek bir olasılıktır.

BI çözümlerinin temel hedefi geniş ölçekli karar destek yeteneği ve kullanıcıların iyi organize

edilmiş ve çeşitli kullanıcı gruplarından gelmiş verileri kolay kullanabileceği araçlar

sunmaktır. BU nedenle veriler OLTP sistemlerinde olsalar bile bir BI sistemine aktarılıp bu

sistemde etkin karar destek sorgulamalarına gidilmelidir.

Aşağıda BI çözümleri için kullanılan temel BI terimleri ve açıklamaları anlatılmıştır.

ETL : Operasyonel sistemlerde tutulan veriler işletmede kullanılan uygulamalara özel bir

şekilde tutulduğu için kullandığımız BI sistemine direkt olarak atılmaya uygun olmayabilir.

Bu tür heterojen yapılardan gelen verilerin BI sistemine Aktarılması, Uygun Şekilde

Çevrilmesi (işimize yaramayan verilerin ayıklanması, veri tiplerinin uygun hale getirilmesi,

vb.) ve son olarak BI sistemine Yüklenmesi işlemine ETL adı verilmektedir. ETL konusu

daha detaylı bir şekilde 4. bölümde işlenecektir.

Data Warehouse : Veri ambarı olarak da adlandırabileceğimiz Data Warehouse, BI

sistemlerinde kullanılan tutarlı verilerin tutulduğu merkezileştirilmiş ambarlardır. Bu kısa

tanımla birlikte aslında veri ambarları, veri analizi, veri madenciliği ve raporlama

işlemlerinin her biri için verinin farklı kopyalarını da tutarlar. Ayrıca sorgu performansını

artırmak için bir çok durumda Denomalize işlemine tabi tutulmaları gerekmektedir.

Data Mart : Data Mart’ları Veri Ambarının bir parçası olarak tanımlayabiliriz. Örnek vermek

gerekirse, bir şirket içerisinde bulunan Pazarlama ve Satış departmanlarına ait analizleri Veri

Ambarının tamamından değilde sadece Pazarlama yada sadece Satış departmanlarına ait

bölümlerinde çekip işlemeye Data Mart adını verebiliriz.

OLAP : Çevrimiçi Analitik İşleme olarakta bilinen OLAP en çok kullanılan analizlerden

olan çok boyutlu analizdir. Bu sayede veriyi işletmenin kabul ettiği sınırlar dahilinde bir

7

OLAP küpü içine yerleştirebilir ve bu şekilde detaylı bir analiz gerçekleştirebiliriz. Örneğin;

kullanıcıların satış toplamlarını ürüne, sipariş tarihine, müşteriye ve satıldığı lokasyona göre

ayrı ayrı gösteren bir küp oluşturabilriz.

Data Mining : Veri Madenciliği, veriyi analiz etmek ve veri içerisinde bulunan örnek ve

istatistiklere bağlı olarak tahmin yürütebilmek için matematiksel algoritmalar kullanan bir

çözümdür. Veri Madenciliği çözümleri içerisinde eğilimleri, kümeleri yada istatistiksel

ilişkileri barındıran bir yada daha fazla veri madeni algortiması içerebilir. Örneğin; bir

müşterinin daha önceden almış olduğu malları kullanıp o müşterinin hangi tür ürünlere

eğilim gösterdiği tahmin edilebilir ve müşteriye eğilim gösterdiği ürün kategorisinde yeni

çıkmış bir ürüne ait bilgiler gönderilebilir yada ona benzer özellikler gösteren farklı

müşterilerin almış oldukları diğer ürünler öneri olarak sunulabilir.

Dashboard ve Scorecard : İşletmenin kısa ve uzun vadeli taktik anlayışlarını belirlediği

araçlara verilen isimlerdir. Scoreboard’lar haftalık ve aylık taktik belirlemeye dolayısı ile

uzun vadeli işlemler için kullanılırken Dashboard’lar ise daha kısa süreli örneğin bir iki saat

aralıklarla bile güncellenebilirler. Bu nedenle Dashboardlar içerisinde scoreboard’lar

barındırılabilir.

Raporlama : Standart sabit raporlardan verilen parametrelere bağlı olarak belli seviyelerde

içerisinde gezinebileceğimiz raporlarımız olabilir. Ek olarak raporlama sistemi kullanıcılara

yetkilerine bağlı olarak raporların en güncel durumlarını otomatik olarak sunabilmelidir.

3. İş Zekası Adımları ve Microsoft’un İlgili Araçları ve

Teknolojileri

İş Zekası Adımları

Bir iş zekası projesini kolay bir şekilde yönetebilmek için bir çok şey yapılabilir. Aşağıda

bahsedilen konu başlıkları bir İş Zekası projesini nasıl daha yapısal ve disiplinli bir hale

getirebileceğimiz anlatılmaktadır.

İş Zekası Projesindeki farklı İş Zekası Komponentlerini Alt Projelermiş gibi

Değerlendirmek

Bir İş Zekası projesi; Çekme, Dönüştüme, Yükleme(ETL), Veri Madenciliği(Data Mining),

Çevrimiçi Analitil İşleme(OLAP) ve Raporlama gibi birbirlerinden farklı bir çok alt

komponentten oluşur. Geliştirme aşamasında bu alt komponentlerin her birini Ana Proje

altında alt projeler olarak ayrı ayrı tanımlayarak bu alt projelere özel ihtiyaçları daha

kolaylıkla ortaya çıkarabiliriz. Örneğin; yukarıda da bahsettiğim gibi İş Zekası projesi

8

içerisinde ETL ve OLAP işlemleri o projenin bütününde yer almasına rağmen, ETL, veri akışı

ve bu verilerin işleme sıralamasıyla alakalı işleri yaparken, OLAP ise ETL’de işlenip Veri

Ambarına aktarılmış haline çok boyutlu analizler yapmak üzere tasarlanmıştır. Bu

farklılıklardan dolayı bu iki işlemi ayrı projeler olarak değerlendirmek hem bu işlemlere özel

ihtiyaçların hem de her iki işlem arasında yapılacak bağlantıların belirlenmesini

kolaylaştıracaktır.

Analiz Çözümleri Veri Modellemesi için İşletme Gereksinimlerini Kullanmak

Veri Ambarı ve OLAP küpleri için en önemli unsure işletme ihtiyaçlarını karşılayan Veri

Modelleri kullanmaktır. Bu nedenle veri modelleri oluşturulurken sadece işletmenin

kendisini değil işletmeyle birlikte iş yapan diğer kurumları da, işletmeyle ilişkilerine bağlı

olarak değerlendirip, bu değerlendirme sonuçlarına gore hazırlanmalıdır.

ETL Çözümünde Kullanılacak Veri Kaynakları ve Hedeflerini Belirlemek İçin

Analiz Sonuçları Kullanmak

Hangi Veri kaynağının kullanılacağı ve alınan verilerin nereye yükleneceğinin belirlenmesi

İş Zekası projelerinin en önemli adımını oluşturmaktadır. Bu nedenle projeye başlamadan

önce bu analizlerin düzgün bir şekilde yapılması gerekmektedir. Analiz esnasında aşağıda

yazılı unsurların kesinlikle belirlenmesi projenin başarıyla sonuçlanmasında önemli bir yer

teşkil etmektedir.

1. Kesin Kaynaklar ve bu kaynaklara ait karakteristikler(Veri Tipi vb.)

2. Veriyi çekmek için kullanılacak teknoloji. Örneğin OLEDB kullanarak mı yoksa

ODBC kullanarak mı veri kaynağına bağlanacağız?

3. Çekilecek verinin boyutu

4. Ne sıklıkta veri çekileceği

5. Çekilen veriyi doğrulama ve çevirme işlemine tabi tutulup tutulmayacağı

6. Çekilen verinin saklanması için araya başka veri kaynaklarının alınıp alınmayacağı

İhtiyaç analizi yukarı bahsedilen adımların detaylı bir şekilde tanımlanması işletme için en

uygun ETL çözümünü sunmamızı sağlayacaktır. Bu adımda önemle durulmalıdır çünkü

ETL çözümleri hatalı yada eksik analizler neticesinde çok büyük zaman ve para kaybına

neden olabilirler.

Raporlama Çözümleri İçin Analiz Sonuçları Kullanmak

Bir İş Zekası projesinde OLAP küpleri ve veri kaynakları raporlama amacıyla kullanılabilir.

Raporlama çözümlerinde sıklıkla kullanılan yöntem son kullanıcıların hali hazırda

kullandıkları raporları örnek alıp o raporlara uygun çözümler sunmak işimizi

kolaylaştırabilir. Aynı şekilde yeni projeyle yeni raporlama ihtiyaçlarıda ortaya çıkacağından

bu ihtiyaçların karşılanması için, yöneticiler, son kullanıcılar, kısacası tüm kademelerdeki

çalışanların görüşleri alınıp alınan bu görüşlerin dokümante edilmesi gerekir. Tüm

raporlama çözümleri aşağıda yazılı unsurları ne kadarını karşılayacağı önceden

belirlenmelidir.

1. Detay seviyesi

2. Rapor üretim sıklığı

Son Düzenleme Pazartesi, 14 Şubat 2011 14:52
Yusuf Arslan

Yusuf Arslan

Oracle Open Source

Tokat/Reşadiye doğumluyum.İlk-orta-lise hayatını Amasya/Suluova ilçesinde geçirdim.Sakarya Üniversitesi Bilgisayar Mühendisliği bölümünü bitirdikten sonra kariyerime Turkcell  İş Zekası Test Uzmanı olarak devam etmekteyim. 

Website: arslanyusuf.blogspot.com/ E-posta: Bu e-Posta adresi istek dışı postalardan korunmaktadır, görüntülüyebilmek için JavaScript etkinleştirilmelidir

1 comment

  • Yorum Bağlantısı üfff üff Salı, 15 Şubat 2011 22:04 Gönderen üfff üff

    sırf içerik dolsun diye copy paste yapılmış, insanların zamanını bu tip içeriklerle harcamayın lütfen. Zaten Türkçe'si otomatik çevirme gibi, bir de üstüne kitabın yazıldığı zamanda falan gibi acayip ifadeler geçiyor, bir de sene oldu 2011 , SQL Server 2008R2 çıktı hala 2005 versiyonundan bahsediliyor.

Login to post comments