Uygulama Araçları
0 2195
Hadoop

BG8: Uzman Seviyesi Linux Kernel Ayarları

Linux kernel ayarlarını varsayılanda bıraksak da sıkıntı olmaz ancak biz bu makineleri big data için kullanacağız bu sebeple bazı konfigürasyon değişikliği yapmak hem faydalı hem...

Erkan ŞİRİN Erkan ŞİRİN 7 yıl önce
0 2195
Hadoop

BG8: Uzman Seviyesi Linux Kernel Ayarları

Linux kernel ayarlarını varsayılanda bıraksak da sıkıntı olmaz ancak biz bu makineleri big data için kullanacağız bu sebeple bazı konfigürasyon değişikliği yapmak hem faydalı hem...

Erkan ŞİRİN Erkan ŞİRİN 7 yıl önce
0 910
Büyük Veri Hadoop

BG9: Sanal Makineleri Kopyalama ve Parolasız (Passworless-SSH) Bağlantısı

Baz şablon sunucu hazırlandıktan sonra bunu cluster planındaki sunucu sayısı kadar çoğaltıyoruz. Benim planımda 6 sunucu kurmak vardı, o yüzden 6 tane kopyaladım. Bu yazıda...

Erkan ŞİRİN Erkan ŞİRİN 7 yıl önce
0 1068
Büyük Veri Hadoop

BG10: Hadoop Cluster Planı

Hadoop clusterında bulunacak servislerin sunuculara dağıtımına cluster planlaması diyoruz. Hangi servis hangi sunucuda çalışacak, master nodelar hangileri, slave nodelar hangileri, edge server hangisi olacak, meta...

Erkan ŞİRİN Erkan ŞİRİN 7 yıl önce
0 820
Hadoop

BG11: Edge Server Hazırlama (httpd ve pssh)

Şimdiye kadar cluster planımızı yaptık, birbiriyle haberleşen 6 sunucu hazırladık. Cluster planımızda node3’ü edge server olarak belirlemiştik. Bu yazımızda edge serverı clusterı kurmaya yönelik olarakApache httpd...

Erkan ŞİRİN Erkan ŞİRİN 7 yıl önce
0 950
Hadoop

BG12: Local Repository Kurulumu

1. Giriş Lokal respository kurum ve şirketler tarafından sıklıkla kullanılır. Lokal repository sayesinde kullanıcı bilgisayarları veya sunucular genel internetten karşıladığı paket yükleme, güncelleme vb. işlemleri...

Erkan ŞİRİN Erkan ŞİRİN 7 yıl önce
0 1062
Hadoop

BG13: Ambari Kurulumu

Cluster planında Ambari/Edge Server olarak belirlediğimiz node3 sunucusuna bağlanıyoruz. Kurulumdan kastım; tarayıcıda http://node3.datalonga.com:8080 yazdığımızda karşımıza Ambari arayüzünün çıkmasını sağayacak herşeydir. Bu kurulum 3 aşamada olacak:...

Erkan ŞİRİN Erkan ŞİRİN 7 yıl önce
0 999
Büyük Veri Hadoop

BG14: Ambari ile Cluster Kurulumu

Şimdiye kadar Ambari Server kurduk. Artık Ambari ile Hadoop cluster kurabiliriz. Çalışmıyorsa Ambari Server’ı çalıştıralım. node3 sunucusundan ambari-server start komutuyla çalıştıralım. Daha sonra tarayıcıdan http://node3.datalonga.com:8080 adresine...

Erkan ŞİRİN Erkan ŞİRİN 7 yıl önce
0 3322
Büyük Veri Scala Spark

Spark Dataframe Operasyonları-1: İndeks Ekleme ve Sütun Sırasını ve Türünü Değiştirme

Merhaba, bu yazımızda veri ön hazırlığı aşamasında veri yüklerken, Spark Dataframe oluştururken, dataframe şekillendirirken, onu dönüştürürken, dataframe üzerinde veri keşfi yaparken vb. işlemler için kullandığım...

Erkan ŞİRİN Erkan ŞİRİN 7 yıl önce
0 886
Hadoop

Apache Spark2 Dataframe Tarih Saat İşlemleri

Merhaba, bu yazımızda Spark Dataframe tarih-saat için kullandığım bazı işlemleri paylaşacağım. Tarih saat işlemlerinde format dilden dile, ülkeden ülkeye ve kültürden kültüre biraz farklı olduğu...

Erkan ŞİRİN Erkan ŞİRİN 7 yıl önce
0 1178
Hadoop

Apache Spark SQL: CSV Okuma, Şema Oluşturma, Dataframe Üzerinde SQL Sorguları (Scala)

Merhaba, bu yazımızda Spark Dataframe oluştururken ve dataframe üzerinde veri keşfi yaparken kullandığım bazı işlemleri paylaşacağım. Basit bir yazı olacak ancak bunu önemsiyorum çünkü birçok...

Erkan ŞİRİN Erkan ŞİRİN 7 yıl önce
Bunları Okudun Mu?
Abone Ol

    ×

    Bir Şeyler Ara