Teknolojik ilerlemeler, dünya genelinde birçok işlemin elektronik ortamda kayıt altına alınmasını ve bu verilerin saklanmasını kolaylaştırarak, zamanla daha da uygun maliyetli hale gelmesini sağlamaktadır. Ancak, ilişkisel veri tabanlarında depolanan büyük miktardaki veriden anlamlı sonuçlar çıkarabilmek, uzman kişiler tarafından titiz bir analiz gerektirir. Veri miktarındaki artış, özel araçlar ve yöntemlerin kullanımını zorunlu kılmaktadır.

Veriyi hızla toplayıp, bilgiye dönüştüren firmalar, rekabet avantajı elde etmektedir. Veri madenciliği, büyük veri yığınlarından geleceğe yönelik tahminlerde bulunmamızı sağlayan ilişkileri ve kuralları keşfetme sürecidir.

Veri madenciliği, özel ve kamu sektöründe çeşitli şekillerde kullanılabilmektedir. Örnek olarak:

• Süpermarketler, müşteri satın alma alışkanlıklarını analiz ederek, promosyonlarını hedefli kitlelere yönlendirebilir, bu sayede satışlarını artırabilir.
• Bankalar, kredi başvurularını değerlendirirken, başvuranların özelliklerini ve davranışlarını analiz ederek, geri dönüşü olmayan kredi oranlarını azaltabilir.
• Havayolları, sadık müşterilerinin davranışlarını inceleyerek daha uygun fiyatlandırma stratejileri geliştirip karlılıklarını artırabilir.
• Telekomünikasyon şirketleri, müşteri davranışlarından edindikleri verilerle yeni hizmetler tasarlayarak müşteri bağlılığını ve kârlılığını artırabilir.
• Maliye Bakanlığı, vergi incelemelerini yönlendirmek amacıyla risk modelleri kurarak vergi kaçaklarını azaltabilir.
• Sağlık sektörü, hastaların teşhis ve tedavi maliyetlerini analiz ederek hastalık risklerini erken aşamada tespit edip, kaynak planlaması yapabilir.

Bu faydaları elde edebilmek için veri madenciliğine yatırım yapılması gerekmektedir.

Büyük veri tabanlarının analiz odaklı kullanılması önündeki bazı engeller şunlardır: (i) Verilerin eksik veya hatalı olması, (ii) Kişisel değerlendirmelere dayalı veriler nedeniyle tutarlı karşılaştırma yapmanın zorluğu, (iii) Veri toplama süreçlerinin bilinçsiz seçicilikler içermesi (selection bias), (iv) Analiz odaklı veri tabanı yapısının olmaması, (v) Bilgi eksikliklerini tamamlamanın maliyetli olması, (vi) Yeterli analistlerin bulunmaması, (vii) Analiz teknikleri ile karar süreçleri arasında sağlıklı iletişim kurulamaması.

Büyük veri tabanlarından yararlanarak bilgi üretme sürecinde dikkat edilmesi gereken unsurlar şunlardır: Öncelikle analizlerin güvenilir verilere dayandırılması, herhangi bir analizin başkaları tarafından da tekrarlanabilir olması ve verinin cevap verebileceği sorulara odaklanılması gerekmektedir. Veri madenciliği yapacak analistin ilk adımı, veri tabanındaki verilerin hangi süreçle ve nasıl toplandığını anlamaktır. Zaman zaman çok fazla veri olduğu düşünülen durumlarda, bazı gözlemlerin tekrar eden bilgiler içermesi veri tabanının zayıf olduğunu gösterir. Ayrıca, veri toplama sürecindeki istemsiz seçicilikler, analizde büyük önem taşır.

Analistlerin eğitim süreçlerinde genellikle küçük, temizlenmiş veri tabanları kullanılması, büyük veri tabanlarını incelerken bazı önemli adımları atlamalarına neden olabilir. Bu nedenle, veri madenciliğinde ikinci adım, veri tabanının içeriğini iyi anlamaktır. Her gözlemde bulunan verilerin dağılımı, ilişkilendirilmesi planlanan boyutların örneklemesi ve gözlem birimi ile modelleme için temel oluşturacak birimler arasındaki farklılıkların giderilmesi gerekir.

Üçüncü adım, analiz sonuçlarının kullanılacağı kararları ve çevresel koşulları iyi anlamaktır. Veri tabanının hangi soruları yanıtlayacağı, doğru modelleme yapabilmek için kritik öneme sahiptir. Korelasyon, neden-sonuç ilişkisi değildir. Yalnızca korelasyonlara dayanan çıkarımlar, analistlerin güvenilirliğini zedeler veya karar vericileri yanıltabilir.

Dördüncü adım, teorik modelin kurulması ve veri tabanı kullanılarak test edilecek hipotezlerin oluşturulmasıdır. Modelin geçerliliğinin test edilmesi, veri tabanının bir kısmının kullanılması ve model ile yapılacak öngörülerin diğer verilerle doğrulanması, karar vericilerin modele güvenini artırır.

Özetle, veri madenciliği, veriden bilgi üreterek ortalama kararlar yerine özgün kararlar alınmasına destek olan, satışları, kârlılığı, yenilikçiliği ve kaynak kullanımında etkinliği artıran önemli bir yönetim aracıdır. Yaşam kalitemizi artırmak için kararlarımızı veriye dayandırma yetkinliğimizi geliştirmeliyiz.