Veri Ambarı Modelleme

Şeyma Taşçı 12 Ocak 2020 İş Zekası, İş Analitiği, Veri Görselleştirme 0 9160 921 kelime - 6 dakika124

Bu yazıya puan ver

(3 votes, average: 5,00 out of 5)

Herkese merhaba! Bu yazımda geçen yazımda belirttiğim gibi veri ambarı modellemeden bahsedeceğim. Aslında bunu konunun uzunluğundan dolayı bir seri şeklinde hazırlamayı düşünüyorum. Farklı veri ambarı modelleme çeşitlerini öğrenip, karşılaştırma yaptıktan sonra raporlama için uygun modeli detaylı inceleyeceğiz. Daha sonra veri ambarı modelleme proje adımlarına ve kurallarına değindikten sonra karşılaşabileceğimiz hata ve çözümlerinden bahsedeceğiz. Yani takipte kalmanız şiddetle önerilir. 😊

Inmon ve Kimball Modelleri

Bir veri ambarı oluşturmak için bugün iki önemli mimari model uygulanmaktadır: Inmon mimarisi ve Kimball mimarisi. Genelde sonda söyleneni ben başta söylemek istiyorum: Her iki modelin de artıları ve eksileri var, o yüzden model seçimi tamamen projenin ihtiyaçlarına göre değişebilir. Her ikisinin bir kombinasyonunun (karma model) uygulandığı örgütler bile vardır. Herhangi bir yaklaşımın başarılı olabilmesi için, dikkatle düşünülmesi, ayrıntılı olarak tartışılması, kuruluşun BI raporlama ihtiyaçlarını karşılamak için tasarlanması, aciliyet durumunun göz önünde bulundurulması ve ayrıca kuruluşun kültürüne uygun olması gerekir.

Her iki veri ambarı modelleme çeşidi veri ambarını örgüt için merkezi veri deposu olarak görüyor, öncelikle kurumsal raporlama ihtiyaçlarına hizmet ediyor ve her ikisi de ETL kullanıyor. Temel ayrım, veri yapılarının veri ambarında nasıl modellendiği, yüklendiği ve depolandığıdır.

Inmon Modeli (Normalize Yaklaşım)

Inmon veri ambarı mimarisinde, veriler ER (Varlık-İlişki) modellemesi kullanılarak düzenlenir. ER modelinde müşteri, ürün, satıcı vb. gibi işletmenin önem verdiği temel nesnelerden oluşan varlıklar (tablolar), bu varlıkların sahip olduğu nitelikler (sütunlar) ve varlıklar arasındaki ilişkileri tanımlayan 3 temel kavram vardır.

Buradaki kilit nokta, varlık yapısının normalize edilmiş biçimde oluşturulmasıdır. Normalize yaklaşımda öngörülen yöntem tarihsel boyutu olan, konu odaklı, kalıcı ve bütünleşmiş bir yapı kurup tüm kurumsal veriyi burada depolamak şeklindedir. Veri fazlalığından mümkün olduğunca kaçınılır. Bu sayede işletme kavramları net olarak tanımlanır ve veri güncelleme anormallikleri önlenmiş olur.

Bu normalleştirilmiş model, verilerin yüklenmesini daha az karmaşık hale getirir, her yeni veri kolayca eklenebilir. Fakat her yeni veri ile veri tabanındaki tablo sayısı da artmaktadır. Bu yüzden birbirleriyle bağlantılı yüzlerce tablodan oluşan bir ağ yapısı oluşmaktadır. Dolayısı ile model birçok yapıyı ve birleştirmeyi içerdiğinden sorgulama yapmak zordur. Bu nedenle Inmon, departmanlara özgü veri depoları (data mart) oluşturmayı önerir. Veri ambarına gelen tüm veriler tümleştirilir ve veri ambarı farklı veri depoları için tek veri kaynağıdır. İhtiyaç duyulan veri depoları (datamart) ve veri küpleri oluşturulmuş olan merkezi veri ambarından türetilir. Yukarıdan aşağı tasarım yaklaşımı olan Inmon modelini aşağıdaki resimde inceleyebilirsiniz:

Kimball Modeli (Boyutsal Model)

Yıldız şema olarak da bilinen boyutsal modelleme tekniği Ralph Kimball tarafından oluşturulmuştur. Bu tasarım modelinde direkt departmansal veya konu odaklı veri depoları (data martlar) oluşturulur. Veri ambarı bu veri depolarının (data martların) birleşiminden oluşmaktadır.

Kimball yaklaşımı, veri ambarının cevaplaması gereken temel iş süreçlerini ve önemli iş sorularını tanımlamakla başlar. Veri ambarı için temel veri kaynakları analiz edilir ve belgelenir. ETL yazılımı, tüm farklı kaynaklardan veri getirmek ve bir hazırlama alanına yüklemek için kullanılır. Buradan, veriler boyutsal bir modele yüklenir. İşte önemli fark geliyor: Kimball tarafından veri ambarı için önerilen boyutsal model normalleştirilmemiştir.

Boyutsal modellemenin temel kavramı yıldız şemasıdır. Yıldız şemasında, genellikle birçok boyutla çevrili bir hareket (fact) tablosu vardır. Hareket tablosu konu alanı ile ilgili tüm ölçümlere ve boyut (dimention) tablolarına ait yabancıl anahtarlara sahiptir. Boyutlar tamamen denormalize edilir, böylece kullanıcı farklı tabloları joinlemeden drill up ve drill down (detaya girme ve detaydan çıkma) yapabilir. Fakat boyut tabloları çok fazla niteliğe sahip olduklarında normalize edilmeleri gerekir. Bu durumda, yıldız modeli normalize edilmiş boyut tablolarını desteklemediğinden, her bir boyut tablosuna ait başka boyut tablolarının bulunduğu kar tanesi modeli kullanılır.

Boyutsal modelleme yönteminde veri ambarının veri depolarından oluştuğu, normalize yaklaşımda olduğu gibi merkezi bir veri ambarından türetilmediğini aşağıdaki resimde inceleyebilirsiniz.

Modellerin Karşılaştırılması

Her iki modelin de avantajlarını ve dezavantajlarını karşılıklı kıyaslayabilmek için iki farklı tablo hazırladım. Öncelikle temel olarak avantajları aşağıdaki tabloda bulabilirsiniz: