joomla templates Data Warehouse Türkiye

Fri09092011

Last update07:32:32 PM GMT

Back Kategoriler Oracle Data warehouse Datawarehouse Yapısından Azıcık
Salı, 18 Ocak 2011 12:13

Datawarehouse Yapısından Azıcık

Yazan&Gönderen  Ercan Yazgan
Bu Öğeyi Derecelendir
(5 Oylar)

Bu makalemde bazı temel dwh bilgilerini paylaşmak istiyorum.Umarım faydalı olabiliriz..

Veri Ambarı kavramını açıklamak için birçok tanımlama yapılabilir ama basitçe tanımlayacak olursak Veri Ambarları bir şirketin bütün verilerini depolamak için oluşturulan alanlardır. Veriler değer derecelerine ve iş ilişkilerine göre toplanır.

 

Veri Ambarı verimliliği, kar oranlarını ve rekabet avantajlarını korumak için şirketler açısından çok büyük bir öneme sahiptir. Şirketler verileri internet, çağrı merkezleri, satış merkezleri, döküm yönetimi gibi birçok kaynaktan alır. Veriler toplanırken Data Life Cycle Management(Veri Yaşam Döngüsü Yönetimi) denilen konveyör banttan geçirilir.

Şirketin veri yaşam döngüsü yönetimi politikaları veri ambarının tasarımını ve yöntemlerini şekillendirir.

 

DataWarehouse_Overview

Şekil 1. Veri Ambarı Yapısına genel bir bakış

 

PRE-Data Warehouse

Bu aşama, asıl data warehouse tarafına veri sağlayan aşamadır. Burada dwh tasarımcıları hangi verinin hangi iş birimine gireceğine açıklık getirirler.

OLTP veritabanları operasyonel verilerin saklandığı veritabanı sistemidir. OLTP veritabanları, Kurumsal Kaynak yönetimi, Tedarik Zinciri, Satış YÖnetimi, Müşteri Hizmet Yazılımları gibi projelerde bulunabilir.Bu tarz database'ler işlem hızı ve doğruluğu için dizayn edilirler.

Metadata, verinin yaşam döngüsüne girilmesindeki doğruluğu sağlar ve veri ilişkilerinin, formatının doğruluğunu sağlar.

Data Cleansing

Veriler veri ambarına girmeden önce ETL sürecinde data quality eşiğini geçer. Burada verilerin ne şekilde kullanılacağı netleştirilir istenilen formata sokulur. Mesela marangozun masa yapmaya başlamadan önce ağacı yontup masanın ayaklarını gövdesini oluşturması gibi düşünülebilir.

Ayrıca ETL, verinin scheduled olarak da OLTP veritabanından extract edilmesinden sorumludur.

Data Repositories

Data Repository ler(veri depoları) iş kapsamının aktif verisini saklarlar. The Data Warehouse modeling design(Veri ambarı model tasarımı), veri analistleri için optimize edilmiştir.

DWH' ın data warehouse, data mart ve ODs gibi varyantları vardır. Data Mart kavramı fiziksel olarak data warehouse'dan farklı bir kavram değildir.Şöyle açıklanabilir ki data mart' lar dwh' ın iş birimlerince kategorize edilmiş halidir. Mesela A şirketi için bir data warehouse kavramı varsa, Bu kapsamda IK için, Pazarlama için, IT için ayrı ayrı data warehouse gibi data martlar vardır.

Data Warehouses(Veri Ambarları), veriyi toplar ve geçmiş veriler için bir depo teşkil eder. Bu yüzden sürekli güncel analiz için verimli değildir.İşte tam burada ODS(Operasyonel data store) devreye girer. ODS, verilerin datawarehouse'a girmeden önceki son halini saklar.

ODS, OLTP den derin geçmişi olan verileri saklamak için kullanılır.OLTP sistemlerde Büyük miktarda veri saklamak kaynak kısıtına ve işlem yavaşlığına yol açar.

Front-End Analysis

DWH ın en kritik ve son aşaması Front-End Analysis kavramıdır. Burada kullanıcılar repository'lerde depolanmış veriyle etkileşim halinde çalışırlar.

Veri madenceiliği, verinin en faydalı kullanım yolunu keşfetmektir.Veri madenciliği tahmin analizleri ve sınıflandırması için kullanılır. Mesela bir müşterinin rakip firmaya kayma sebeplerinin analizi gibi.

OLAP(Online Analytical Processing), geçmiş verilerin ve gerekli iş bilgilerinin parça parça, istenilen bazda analizini sağlar. Bu modül en çok pazarlama yöneticilerince kullanılır. Veriyi en işe yarar şekilde kullanmak için OLAP çok önemli bir faktördür. OLAP ve OLTP raporlarına şöyle bir örnek verirsek sanırım ayrım daha net anlaşılır :

OLTP : Şirketin kaçtane müşterisi var?

OLTP : Şirketin, yıl bazında belli yaş grupları arasındaki 2000 liranın üzerinde alışveriş yapan müşterilerinin bölgesel dağılımı. gibi..

Raporlama araçları(reporting tools) veriler hakkındaki raporları sağlamak için kullanılır,  veriler iş ve performans göstergelerinin takibi arasındaki ilişkiyi göstermek için görüntülenir.

Veri görselleştirme araçları(Data Visualization tools) ise veri deposundan veri görüntülemek için kullanılır. Genelde veri madenciliği ve OLAP tool ları ile birleştirilir. Veri görselleştirmesi kullanıcıya verilerin birbirleriyle ilişkisini, mimarisini göstermek için işlemesine olanak sağlar.

Son Düzenleme Pazartesi, 14 Şubat 2011 14:50
Ercan Yazgan

Ercan Yazgan

Oracle Technologies Specialist

1988 Yalova Doğumluyum, İlköğretimimi İstanbulda, Lise eğitimini ise memleketim olan Gümüşhane'de Anadolu Lisesinde tamamladım. Lisans eğitimimi ise Sakarya Üniversitesinde, hayalim olan bilgisayar mühendisliğinde tamamladım. Üniversitedeyken kariyer hedefimi database teknolojileri üzerine belirledim ve Oracle ile projeler geliştirdim. Her zaman yeniye ve yeniliğe olan ilgimden dolayı lisans projemde ODI ve OBIEE teknolojilerini kullanarak veri ambarı sistemlerine giriş yaptım. Şu an özel bir şirkette PLSQL developer olarak çalışmaktayım. İlgi alanlarım ve bildiğim teknolojiler; PLSQL, ODI, OBI, ETL Circle, Oracle Administration, RAC systems, Data Guard, ASM.

E-posta: Bu e-Posta adresi istek dışı postalardan korunmaktadır, görüntülüyebilmek için JavaScript etkinleştirilmelidir

Login to post comments