Veri ambarları, OLTP ve OLAP

Karar destek sistemleri, iç ve dış kaynaklı verinin işletmenin üst yönetimleri tarafından karar alma aşamasında kullanılmasını destekleyen sistemlerdir. Bu sistemlerin teknik alt yapısını veri ambarları oluşturmaktadır.

Veri ambarları sayesinde OLTP (Online Transactional Processing) veritabanındaki veriler işlenerek karar destek sistemlerinde kullanılmaktadır. OLTP veritabanlarında tutulan veriler genellikle operasyonel işlemler sonucu üretilen verilerdir, bu veriler bir dönüştürme işleminden (ETL) sonra veri ambarlarına aktarılmaktadır. Ancak veri ambarları fiziksel olarak operasyonel çevreden uzak düşünülür.

Veri ambarlarındaki verileri karar destek sistemi kullanıcıları, üst yönetim sistemi kullanıcıları ve veritabanı sorgulama sistemi kullanıcıları kullanabilmektedir.

Veri ambarlarındaki veriler sadece okunabilen (silinemez), zaman boyutu olan (tarihsel olarak izlenebilen), ilişkili (ilişkili olduğu veriye tam bağımlı), bütünleşik (kuruluşun tüm verilerini içeren) verilerdir. Veri ambarları, veri modelleme ve veritabanı tasarımı ile ilgilenir, ama süreç tasarımı ile ilgilenmez. Bir işletmenin veritabanı, işletmenin fonksiyonlarına (personel, üretim, stok, muhasebe gibi) bağlı günlük operasyonel verilere göre tasarlanırken; veri ambarları, daha çok müşteri, tedarikçi, ürün gibi konulara yönelikte tasarlanmaktadır.

Veri ambarlarına işletmenin iç ve dış kaynaklarından gelen veriler, kodlama farklılıkları, anahtar yapılarında farklılıklar, adlandırmalarda farklılıklar içerecektir. Örneğin bir uygulama uzunluk ölçüsü olarak metre kullanırken diğer bir uygulama inç, cm kullanıyor olabilir. Ya da bir uygulamada medeni durum evli, bekar şeklinde girilmişken, diğer bir uygulamada 0,1 veya e,b şeklinde girilmiş olabilir. Ya da uygulamalarda farklı tarih biçimleri ile karşılaşmak olası bir durumdur. Farklı kaynaklardan gelen bu veriler veri ambarlarına taşınmadan önce ortak bir dile dönüştürülmektedir, böylece veriler arasında bütünlük oluşturulur, ve veriler üzerinde gerçekleştirilecek analiz çalışmalarının doğruluğu ve güvenirliği desteklenmiş olur.

Operayonel veritabanlarında tutulan veriler, zaman boyutu olamayn yani işlemin yapıldığı anda var olan verilerdir. Bu tip veriler iki, üç aylık verilerdir, istenildiği zaman güncellenebilir. Veri ambarlarındaki veriler ise geçmişe dayalıdır, operasyonel verilerin belirli dönemlerdeki anlık görüntülerini içerir. Veriler zaman içinde bir noktada birleşir; mali yıl, ödeme dönemi gibi. Veri ambarı bir bilginin en az 5 yıllık değerlerini içermelidir. Geçmişe ait bu veriler silinemez, güncelleştirilemez. Bu verilere sadece sorgulama amaçlı erişim sağlanabilir.

Veri ambarlarına verilerin aktarılma süreci ETL (Extract, Transform, Load) adı verilen işlem sonucu gerçekleştirilir. Veriler eski veya güncel çeşitli veri kaynaklarından alınır, alınan veriler tek bir biçime dönüştürülür ve dönüştürülen veriler veri ambarı tasarımına uygun şekilde data martlara yüklenir. Yüklenen bu veri, veri ambarı kullanıcıları tarafından sorgulama, raporlama, veri madenciliği amaçlı kullanılır.

Metadata, veri ambarlarına gelen veri hakkında bilgi verir, dolayısıyla veri ambarlarını sorgulayan kullanıcılara yardımcı olur. 

Veri ambarlarının veri modeli OLTP sistemlerinden farklı olarak çok boyutludur. Bu nedenle bu modellere veri küpü ya da yıldız şema (star shema), ya da kartanesi şema (snowflake shema) gibi adlar verilir. Yıldız şemada, veri ambarı merkezi bir ana tablodan (fact table) oluşmaktadır. Bu tabloya doğrudan bağlı bir çok boyut tablosu (dimension table) bulunmaktadır. Kar tanesi şemada ise, ana tabloya bağlı bir çok boyut tablosuna bağlı başka boyut tabloları yer alır.

Yıldız şema (Star Schema)

Kar tanesi şema (Snowflake Schema)

Veri deposu olarak adlandırılan data martlar veri ambarlarının bir alt kümesidir; özel bir iş birimi, bir grup kullanıcı veya bir konuya ait verileri içerirler. Data martlar sayesinde verilere daha kısa sürede ulaşılabilir. Belirli kullanıcı gruplarının gereksinimlerine göre tasarlandığı için kullanımı kolaydır. İş süreçlerini hızlandırır.

Bir işletme için operasyonel veriler, işletmenin rapor ve sorgu gereksinimlerini karşılıyorsa bu işletme için veri ambarlarına ihtiyaç yoktur. Bu tür işletmelerde anlık (güncel) verileri depolamak için OLTP veritabanlarını kullanır. OLTP veritabanlarında insert, update, delete ve DML sorguları sıklıkla gerçekleştirilir. Bu tip sistemlerin modellenmesinde normalizasyon kurallarına dikkat etmek yeterlidir. Bu tür veritabanlarının büyüklüğü genel bir işletme için 100MB ile 100GB arasında değişir, kullanıcı sayısı 1000'ler civarındadır.

OLAP (Online Analytical Processing) veritabanları ise güncel olmayan eski verileri içeren, içerdiği çok boyutlu, büyük hacimli verilere (bir küp şeklinde) hızlı bir şekilde (saniyeler içinde) ulaşmayı sağlayan sistemlerdir. Kullanıcıların detaylı analizler yapmasına olanak sağlar. Bu veritabanlarına belirli periyotlarla veri yüklenir. Çok sık insert, update sorgulamalarına maruz kalmazlar. Bu tip sistemlerin modellenmesinde yıldız şema veya kar tanesi şemaları kullanılır. Bu tür veritabanlarının büyüklüğü genel bir işletme için 100GB ile 100TB arasında değişir, kullanıcı sayısı 10'lar civarındadır.

Kaynaklar:
Yönetim Bilişim Sistemleri, Gülser Dondurmacı Acar, Ayşe Çınar, Papatya Yayıncılık, 2014

İş Zekası ve Veri Ambarı Sistemleri, Murat Bilgin, http://slideplayer.biz.tr/slide/2741740/