Home Big Data Big Data Nedir?

Big Data Nedir?

6 min read
0
0
40

Word Cloud "Big Data"

Büyük veriler (big data)  alttaki özelliklerden bir yada bir kaçına sahiptir


Veri Miktarı (Volume)

Boeing 737 uçağı tek bir uçuşta 240 terabyte veri üretmektedir

Veri hızı (Velocity)

Bir dakika içerisinde 204 milyon e-mail , 1.8 milyon Facebook like , 278000 tweet işlemi yapılmaktadır

Veri çeşitliliği (Variety)

Klasik veritabanı sistemleri küçük boyutta ve düzenli yapıdaki veriler için tasarlanmıştır . Oysa gerçek hayatta resim , ses , konum , log , mekan verileri sıkça karşımıza çıkmaktadır

Verinin değerli olması (Value)

Amazon firması tavsiye sistemi ile satış oranlarını %29 artırmıştır

Verinin düzensiz , karmaşık ve kirli olması (Veracity)

Gelen veriler içerisinden kirli data mutlaka olmaktadır

 

Büyük verilerin saklanma yöntemleri


Verilerin karakteristiği ve işlenme yöntemine göre bir saklama sistemi kullanılır

Wide Column Stores/Column Family database

Hadoop , Cassandra

Buradaki yapı klasik veritabanına benzer bir şekilde tablo , kolon ve satır yapısı vardır.

Document Store

ElasticSearch , MongoDB

Veriler belirli bir şema yapısına sahip olmadan kaydedilir . JSON gibi

Key Value Store

Redis , MemcacheDB

 

Hadoop Nedir ?


Hadoop büyük verileri işlemek üzere kullanılan Java ile geliştirilmiş açık kaynak kodlu bir uygulamadır . Hadoop bu işlemleri birbirinden bağımsız bilgisayarlarda yaparak dagıtık veri işleme kavramını desteklemektedir

mapreduce-workflow

 

Hadoop Verileri Nasıl Saklar ?


Hadoop verileri bloklar halinde farklı bilgisayarlarda saklayabilir. (HDFS)

Veriler yatay olarak büyüyebilir

HDFS Dağıtık olan dosyaların tek bir dosya gibi görünmesini sağlar

Dosyalara hızlı bir şekilde erişilebilir

hdfs-arch

 

MapReduce Nedir ?


MapReduce büyük verileri birden fazla makina kullanarak hızlı bir şekilde analiz edilmesini sağlayan bir sistemdir

 

MapReduce_Work_Structure

Lambda Mimarisi


Büyük verileri anlık ve batch bir şekilde işleyebilmek için kullanılan mimaridir

lambda-architecture-2-800

 

Apache Pig ile Hadoop Programlama


Apache Pig  , büyük verileri işlememizi sağlayan açık kaynak kodlu bir kütüphanedir . Geliştirilen kodlar arka planda Hadoop MapReduce job larına çevrilir

pig1

 

Apache Hive ile Hadoop Programlama


Apache Hive büyük verileri işlememizi sağlayan SQL yapısına benzer açık kaynak kodlu kütüphanedir . Geliştirilen kodlar arka planda Hadoop MapReduce job larına çevrilir

 

hive

 

Apache Oozie ile zamanlanmis büyük veri uygulamalari


Apache Oozie büyük veri işlemlerini zamanlamak ve sıralandırmak için kullanılır

OozieWorkFlow

Mongo


Mongo DB verileri JSON tabanlı kaydeden açık kaynak kodlu ilişkisel olmayan bir veritabanıdır

m1

m2m3

ElasticSearch ile metin arama uygulamalari


ElasticSearch açık kaynak kodlu java tabanlı arama işlemlerinde kullanılan bir kütüphanedir

 

es

 

Spark Programlama


Spark büyük verileri işlemek için kullanılan bir kütüphanedir .  Hadoop ‘ a göre daha az disk I/O işlemleri yapıldığı için Hadoop ‘ a göre daha hızlıdır

spark

 

Apache Kafka ile mesajlasma sistemleri


Apache Kafka büyük veri akışını düşük bir gecikme zamanı ile sağlayan açık kaynak kodlu bir kütüphanedir

 

ApacheKafkaExample

 

Apache Storm ile gerçek zamanli hesaplama sistemleri


Apache Storm akan verileri anlık olarak işleyebilme özelliğine sahip açık kaynak kodlu bir kütüphanedir

 

Figure 2 A Storm topology

Alıntı :

Büyük Veri Ekosistemi

 

Load More Related Articles
Load More By blackpars
Load More In Big Data

Check Also

Yapay zeka küresel ekonomiye 16 trilyon dolar katkı sağlayacak

Yapay zeka teknolojisinin gelişmesinin, 2030’da küresel ekonomiye 15,7 trilyon dolar…