BG5: Gerekli Yazılımları Yüklemek
Şimdiye kadar internete bağlanan bir makine kurduk. Öncelikle internete bağlı bir makine yapmamızın sebebi gerekli yazılımların kurulması için internet bağlantısına ihtiyacımızın olmasıydı. Bu yazımızda aşağıdaki yazılımları kurup...
BG7: Baz Şablon Sunucu Konfigürasyonu
Baz şablon sunucumuza (basecentos7min) gerekli yazılımları yükledik. Şimde bazı ayarları yapılandıracağız. 1. Ağ ayarlarının kontrolü İşletim sistemi kurulumu esnasında ağ ayarlarını yapmıştık. Ağ ayarları deyince...
BG8: Uzman Seviyesi Linux Kernel Ayarları
Linux kernel ayarlarını varsayılanda bıraksak da sıkıntı olmaz ancak biz bu makineleri big data için kullanacağız bu sebeple bazı konfigürasyon değişikliği yapmak hem faydalı hem...
BG9: Sanal Makineleri Kopyalama ve Parolasız (Passworless-SSH) Bağlantısı
Baz şablon sunucu hazırlandıktan sonra bunu cluster planındaki sunucu sayısı kadar çoğaltıyoruz. Benim planımda 6 sunucu kurmak vardı, o yüzden 6 tane kopyaladım. Bu yazıda...
BG10: Hadoop Cluster Planı
Hadoop clusterında bulunacak servislerin sunuculara dağıtımına cluster planlaması diyoruz. Hangi servis hangi sunucuda çalışacak, master nodelar hangileri, slave nodelar hangileri, edge server hangisi olacak, meta...
BG11: Edge Server Hazırlama (httpd ve pssh)
Şimdiye kadar cluster planımızı yaptık, birbiriyle haberleşen 6 sunucu hazırladık. Cluster planımızda node3’ü edge server olarak belirlemiştik. Bu yazımızda edge serverı clusterı kurmaya yönelik olarakApache httpd...
BG12: Local Repository Kurulumu
1. Giriş Lokal respository kurum ve şirketler tarafından sıklıkla kullanılır. Lokal repository sayesinde kullanıcı bilgisayarları veya sunucular genel internetten karşıladığı paket yükleme, güncelleme vb. işlemleri...
BG13: Ambari Kurulumu
Cluster planında Ambari/Edge Server olarak belirlediğimiz node3 sunucusuna bağlanıyoruz. Kurulumdan kastım; tarayıcıda http://node3.datalonga.com:8080 yazdığımızda karşımıza Ambari arayüzünün çıkmasını sağayacak herşeydir. Bu kurulum 3 aşamada olacak:...
BG14: Ambari ile Cluster Kurulumu
Şimdiye kadar Ambari Server kurduk. Artık Ambari ile Hadoop cluster kurabiliriz. Çalışmıyorsa Ambari Server’ı çalıştıralım. node3 sunucusundan ambari-server start komutuyla çalıştıralım. Daha sonra tarayıcıdan http://node3.datalonga.com:8080 adresine...
Spark Dataframe Operasyonları-1: İndeks Ekleme ve Sütun Sırasını ve Türünü Değiştirme
Merhaba, bu yazımızda veri ön hazırlığı aşamasında veri yüklerken, Spark Dataframe oluştururken, dataframe şekillendirirken, onu dönüştürürken, dataframe üzerinde veri keşfi yaparken vb. işlemler için kullandığım...