Büyük veri nedir?

Detaylı açıklama

Büyük veri, tek bir bilgisayarın ya da klasik bir veritabanının kaldıramayacağı büyüklükte ve karmaşıklıkta veri yığınlarını anlatan bir kavramdır. Bu veriler web uygulamalarından, sosyal medya paylaşımlarından, sensörlerden, işlem kayıtlarından, fotoğraf ve videolardan gelebilir. Klasik veri çoğunlukla tablolara oturan yapısal veridir ve SQL gibi standart araçlarla sorgulanır. Büyük veri ise yapısal, yarı yapısal ve yapısal olmayan verileri bir arada barındırır. Bu yüzden makine öğrenmesi, veri madenciliği ve dağıtık işleme sistemleri gibi daha gelişmiş yöntemler gerekir. Büyük veriyi tanımlarken çoğunlukla "V"lerden söz edilir: hacim, hız, çeşitlilik, doğruluk ve değer. Hacim verinin miktarını, hız verinin sisteme akış temposunu, çeşitlilik formatların farklılığını, doğruluk verinin güvenilirliğini, değer ise verinin kuruma sağladığı gerçek faydayı ifade eder. Veriler genellikle veri gölleri, veri ambarları ya da bunları birleştiren veri göl evlerinde saklanır. İşleme tarafında Hadoop, Apache Spark ve NoSQL veritabanları sık anılan araçlardır. Kullanım alanları geniştir: sağlıkta hasta kayıtlarının incelenmesi, bankalarda sahtecilik tespiti, üretimde arıza tahmini, perakendede talep öngörüsü gibi. Öte yandan veri kalitesi, ölçeklenebilirlik, gizlilik, güvenlik ve uzman insan bulmak başlıca zorluklardır. Yapay zeka modelleri, özellikle derin öğrenme, eğitim için büyük ve kaliteli veri kümelerine ihtiyaç duyduğundan büyük veri bu alanın temel girdilerinden biridir.

Kullanım örneği

Bir market zinciri geçmiş satış kayıtlarını ve hava durumu tahminlerini birlikte inceleyerek sıcak bir hafta sonunda hangi mağazaya ne kadar dondurma ve içecek göndereceğini önceden hesaplar. Böylece raflar boş kalmaz, fazla ürün de çöpe gitmez.