Home / MAKALELER / Veri Ambarı / Veri Kalitesi ve 7 Major Hata Algısı

Veri Kalitesi ve 7 Major Hata Algısı

Hemen hemen her kurum, veri kalitesi problemlerini ama oyle ama boyle farkinda ve cozmeye calisiyor. Peki neden bu problemler – ustelik de direkt para kaybi yol acacak boyutta iken – cozulemiyor?

Gartner arastirmasina gore:

Global en buyuk 1000 firmanin ¼’lik bolumu veri kalitesi sorunsali ile bogusmakta.

The Data Warehousing Institute (TDWI) tahmini:

Kuzey Amerika’da her yil milyarlarca dolarlik veri kalitesi verimsizligi/problemi yasanmakta.

Bu tip arastirmalar ile paralel sekilde, hemen hemen her kurum, veri kalitesi problemlerini ama oyle ama boyle farkinda ve cozmeye calisiyor…

Peki neden bu problemler – ustelik de direkt para kaybi yol acacak boyutta iken – cozulemiyor?

Muhtemel Neden:

Problemin tarifinin eksik yapilmasi ve/veya hatali yargilara sahip olunarak problemin ele alinmasi olabilir mi acaba?

Bu baglamda, once tariflere ve sonra da algisal sorunlara goz atalim.

“Veri Kalitesi” kavramini basitce aciklamaya calisir isek – ilk akla gelen tarif:

“Kotu durumdaki/Eksik Veri”

Daha genis bir Tanimlama ile:

“Is Kullanicilarin Guncel ve Dogru Veri Setine, Kolaylikla ve Zamaninda Erisebilmeleri”

 Populer bir kavram olarak  ‘Tek Dogru’ (Single Version Of The Truth) problemi ise:

Organizasyon temel veri setlerinin, farkli is kullanicilari tarafindan, farkli amaclar icin sorgulanmasi/analiz edilmesi esnasinda, ortaya cikmasi olasi celiskili durumlar/dramatik yorum farkliliklari/hatalar butunu.

Tipik ornek:  Bir kurumun, “Aktif Musteri” taniminin departmanlari/raporlari/analizleri arasinda, bilincsiz sekilde farkli olmasi ve ayni musteri zumresine farkli sekilde muamele etme riski.

Veri Kalitesi duzleminde sikca karsilasilan algi hatalarina goz atalim:

HATA #1: “VERI TEMIZLEME YONTEMLERI ILE VERI KALITESI PROBLEMI ORTADAN KALDIRILIR.”

Veri Temizleme mekanizmalari ya da projeleri, Veri Kalitesi problemleri acisindan “Yangin Sondurme” etkisi olarak gorulebilirler.

Ancak eger ki sadece veri temizleme yaparak veri kalitesi sorunsalina cozum getirilecegi dusunulur ise bu eksik bir yaklasim olacaktir.

Zira  veri kalitesi bir surec meselesidir ve veri temizleme bileseni bir gerek sart iken, tek basina yeter kosullari saglamayabilir.

HATA #2: “VERI KALITESI SADECE BIR TEKNOLOJI MESELESIDIR.”

Veri Kalitesi, kurumun genel ve makro bir sorunu olarak gorulmelidir.

IT ekipleri ve araclari tabii ki bu problemin cozulmesi icin en etkili silahlardir ancak hadiseyi sadece bir IT sorumlulugu olarak gormek yanlistir.

Veri Kalitesi problemlerine dair onceliklendirme ve performans kriterleri is gruplari tarafindan saptanmalidir ve IT gruplari ile esgudum halinde mucadele yurutulmelidir.

HATA #3: “VERI KALITESI PROBLEMLERIN YEGANE KAYNAGI OPERASYONEL SISTEMLERDIR.”

Operasyonel/Kaynak sistemler (Ana Bankacilik, Faturalama vb sistemler) genellikle “Gunah Kecisi” olarak suclanirlar.

Bir cok vakada gercekten de verinin ilk girildigi/turetildigi anda problem ortaya cikar.

Ancak eger ki problemin gercek nedeni sadece bu sistemler olsa idi, gunumuz is dunyasinin bu denli net sinirlari olan bir problemi bugune kadar coktan cozmus olmasi gerekmez miydi?

Problemin buyuk kismi, verinin uretilmesini takibe eden ve tuketilmesine dek gecen surec/yolculugun butunu ile ilgilidir.

Dolayisi ile verinin nasil turetildigi, tasindigi, dogruladigi, coklandigi ve nihai is kullanicinin onune nasil konuldugu entegre seklinde ele alinmalidir.

Organizasyon icindeki bolumler duzeyinde/arasinda degil, tum firma yatayinda Veri Kalitesi bir zorluk olarak gorulup, uzerine gidilmelidir.

HATA #4:  “VERI AMBARI KURULMASI ILE BIRLIKTE ‘TEK DOGRU’ (SINGLE VERSION OF THE TRUTH) PROBLEMI ORTADAN KALKACAKTIR.”

Teorik olarak bakar isek, organizasyonda hazirlanan her bir rapor/analizin, temel veri kaynagi olarak Veri Ambari’ni kullanmasi tavsiye edilir ve bu sayede kurumun sahip oldugu veri setlerine her bir is kullanicisi ayni dogruluk duzeyinde erisecek/kullanabilecektir.

Ancak gunumuz is dunyasinin asagidaki iki karakteristigi, bu teorik yaklasimin pratik dunyaya tam anlami ile yansimasina negatif ket vurmaktadir:

1- Pragmatik tavir ve kisa surede sonuc alma baskisi ile, analiz edilecek verilerin Veri Ambari disindaki farkli bir cok kaynaktan alinmak durumunda kalinmasi/tercih edilmesi

2- Her bir veri bileseni, sadece ve sadece Veri Ambari’ndan alinsa bile, yapilmakta olan analizin formulune ve analizi yapan is kullanicisinin kendi perspektifine istinaden, dramatik yorum farklari ve “kendine gore yogurt yeme bicimi” olusmasi 

Sonuc olarak, elbette Veri Ambari kurulmasi, Veri Kalitesi problemini yapisal olarak cozmek adina atilmis kiymetli bir adimdir ancak sadece Veri Ambari kurarak “sapkadan tavsan” cikartilmasi her daim mumkun olmamaktadir.

HATA #5:  “KAYNAK PLANLAMA SISTEMI (ERP)  ‘TEK DOGRU’ (SINGLE VERSION OF THE TRUTH) ICIN RECETEDIR.”

Bir evvelki maddede kurdugumuz tum cumlelerde, “Veri Ambari” yerine “Kaynak Planlama (ERP) Sistemi” belirtimi koyar ise anlatimimiz hala gecerliligi korur.

HATA #6:  “KURUMSAL PERFORMANS SISTEMI (CPM) ‘TEK DOGRU’ (SINGLE VERSION OF THE TRUTH) ICIN CIDDI BIR ALTERNATIFDIR.”

Hata #4 ve Hata #5 ile ayni felsefede bakar isek, tek bir sistemin ya da tek yonlu bir cabanin Veri Kalitesi problemlerine kalici bir cozum saglamasi, firma teorisine aykiridir.

HATA #7:  “MEVCUT İŞ ZEKASI (BI) ARACLARINI STANDARDİZE ETMEK, RAPOR/ANALIZ KATMANINDAKI VERI KALITESI PROBLEMLERINI KOKTEN COZER.”

Muhakkak ki, farkli BI araclarini/platformlarini bir duzene sokmaya calismak/konsolide etmek, yapici ve makul bir hamledir. 

Ancak birden fazla BI arac/platformuna sahip olmak, Veri Kalitesi problemlerin gercek nedeni degildir.

Eger ki organizasyon genelinde dogru veri, dogru kaynaktan, dogru sekilde cekilip turetiliyor ise ve dogru seklinde is kullanicina sunulacak metodoloji oturtulmus ise,  BI aracinin ozelinde bu denli buyuk problem cikmasi ve cozulemiyor olmasi esyanin tabiatina aykiridir.

SON SOZ – CIKARIM:

Yukarida bahsettigimiz hatalarin ozunde, aslinda her birinin kendi icinde dogru hamle olmasina karsilik, kus bakisi ve entegre sekilde yonetilmeme noksanligi yatmaktadir.

Veri Kalitesini, sadece eksik/yanlis veri seti ekseninde algilamak hastaya tam teshis koymamak ve/veya sadece agri kesici vermeye benzer.

Veri Kalitesine dair calismalari, sadece bir proje olarak ele almak miyop bir bakis olacaktir.

Veri Kalitesi organizasyonun yasayan bir organi olarak dusunulmeli ve malum ucgende sureklilik hedeflenerek ele alinmalidir:

“Insan Faktoru – Teknoloji – Surec” 

Kaynakca: http://www.athena-solutions.com/articles/article-data-quality-misconceptions.shtml

About Yusuf Arslan

Sakarya Üniversitesi Bilgisayar Mühendisliği bölümünü bitirdikten sonra kariyerine Datawarehouse-Database Uzmanı olarak devam etmektedir Sitenin kurucusu ve yazarıdır. yusufarslanbm@gmail.com adresinden bana ulaşabilirsiniz.

İlginizi Çekebilir

Udemy Online Veri Ambarı Eğitimi

Yoğun emekler sonucunda “Türkçe” Veri Ambarı Eğitimi Udemy’de yayın hayatına başladı.Ömür boyu erişim,soru cevap bölümleri …

Bir Cevap Yazın