BG14: Ambari ile Cluster Kurulumu

Erkan ŞİRİN 17 Kasım 2017 Büyük Veri, Hadoop 0 1013 873 kelime - 6 dakika54

---

Bu yazıya puan ver

(No Ratings Yet)

Loading...

---

Şimdiye kadar Ambari Server kurduk. Artık Ambari ile Hadoop cluster kurabiliriz. Çalışmıyorsa Ambari Server’ı çalıştıralım. node3 sunucusundan ambari-server start komutuyla çalıştıralım. Daha sonra tarayıcıdan http://node3.datalonga.com:8080 adresine gidelim ve Ambari’de admin/admin ile oturumu açalım. Launch Istall Wizard butonuna basalım ve cluster kurmaya başlayalım.

1. Cluster’a İsim Verme

İlk adımda cluster’a isim veriyoruz. Ben keraban verdim.

2. Versiyon Seçme ve Lokal repository adreslerini girme

Versiyon olarak varsayılan 2.6. seçiyorum. Use Local Repository seçiyoruz. Biz işletim sistemi olarak CentOS7 yani redhat7 kullandığımız için diğer bütün işletim sistemlerini kaldırıyoruz. Base URL adreslerine, Lokal Repository yazımızda elde ettiğimiz adresleri giriyoruz.

Ya da cat/etc/yum.repos.d/hdp.repo dosyasından da öğrenebiliriz. Seçeceğimiz sunucu redhat7’dir. Diğerlerini kaldırıyoruz.

[root@node3 ~]# cat /etc/yum.repos.d/hdp.repo
#VERSION_NUMBER=2.6.2.0-205
[HDP-2.6.2.0]
name=HDP Version - HDP-2.6.2.0
baseurl=http://node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0
gpgcheck=1
gpgkey=http://node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1


[HDP-UTILS-1.1.0.21]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.21
baseurl=http://node3.datalonga.com/hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21
gpgcheck=1
gpgkey=http://node3.datalonga.com/hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

Yukarıdan öğrendiğimiz baseurl adreslerini aşağıda yerlerine girelim.

3. Install Options

Burada bizden iki şey istiyor. İlki cluster kurulacak hostların isimleri. İkincisi ise daha önce public ve private olarak oluşturduğumuz anahtarlardan private olanı yani sadece node3 sunucusunda .ssh/id_rsa dosyasında saklı olanı. Anahtarı öğrenelim kopyalayıp yapıştıralım.

[root@node3 ~]# cat .ssh/id_rsa
-----BEGIN RSA PRIVATE KEY-----
MIIEpgIBAAKCAQEAuY7/FCFgbAb2wq+SX56FH8beuCrkv6RE/pw0rvWVeLS7rcHB
cBOQizNzcArnJiKVxnjv97EG6gBYd6tqo42PF69B1LgtVDgPbduYUDjO2CkZy8hb
k3lY/MDa0/9utMd5S0oh9eAvyJAyMhMv9TAcD7HyWmyRejSARn/tlw/ClzFy2bPP
cNtNTIH5a27+Hvvxrkkywry3sXJmbc2ewY/acgKY3yHGUfBKtKx3+GXwUcUccO1t
6OrB9rP+AefkK5zwC88dwhiEilwJQsyQ03cV5NsQfMkRMWLTKIh9K/S/PMLuN42t
f/P9MqJuPvoJhnnl4qR66qvvHtn2mn0pbGON7wIDAQABAoIBAQCNxkT8g3fhcfyt
yWmj50E9gzv+KL+38PHKO11BZGA85pIS81wxnrEsujX0IFB14azgBN0MOdTXi0YM
wQrsRadT6FL7DXGMzHx1anfYq17W56hO/BmD9w5Xp55KpfpW46W4Mb761ryLmCjR
+7kDtCtsjoBmOFd6sIxl0S6d4avCyfcRHZ5Z+iRqLKYaS1mn1mfm3vBLoeHQRndB
6JrimnkJx4ZjsHD4pBmlf9P7NAsPVxiGvaYj+WAf1ZMriwjewMc7HGGwyCj1JCkc
3innumdRkdQVE2yfo6tOseXnClwjJsA0+ONEQd3x9tpcZi2MfTTXgzoR2ic+fLwR
KwyUWBMBAoGBAOARegYJ1Q+tZJqPS4aftPMZmcGZ1M5FkPH//7eY9XE65u0T1wfJ
Hu5TWjmX+UBXMwsH954DnN9QjAJXJtZuvRRGZV82XDg+AA2D5H9bhgG2okhGR6zP
sshIxDkyGi34chgXAyTAFUhvx0nE88kRHrDh0vd8qQUjgcjaplDiHVxvAoGBANQA
mSDFyv1RzsjKvP8Z4px0WW7Yk6uW7+Ew63mUn8VQ+YIcSm3VKGfJzHI2Zj6I5xxQ
3SpIO/nDAfyXfoBtqvBPC2S7q+NcqE/vB4beRH1XJuphZvJOJWQKOvcf6k7bhlJr
XNT982aOOTdyr2fJJujC6lzJ7bObUic/KUbM2KaBAoGBAIoN2ov75N1a7QBZx6Pz
pK6fmF9zY22P6SVhoHHDeX5BV2S886DlZvxaON4BZ94fm+BxETy3ZyEkZI9QmSpH
YpIqaW0Hdjxk3u101QUvI9rMZyJ2wtSTx8ilJNlEqGKoj8uN6i7rdnGCBVzLT5UT
ykAbcztvAEidPuq85PoyxvpbAoGBAK0NL/HIgsH1HU5Z75xsjMYZU0dgEmpmcrjn
Lc+4uhJe3syOO1McRDc0SmaQcTVqmvxKJb516D8gJ2cAYoqC+p3eZ/Z6Gv0kjV9y
RjqZBF8r3OBFUbtIfs0CbM98hc6I80Qjz0stYJm+ToYsX3HgiJpHQPcs/ZM2ngDb
Vd4tKEwBAoGBANsspdaOVOe/FkT2u5i1pk7GNb6RW1F6heI9pCpX45zQQfb8BKcR
zqv98mExSt5zEf/vJvnVTJHC8dKvmQoqrkvBLSB+GFhBGcKvJ2hoNdtAHkGtwdoy
yx87/6rNH/cVl2ySLXAtlf4GDMx/w+NdG1uveqlpjTuMvFwQnCa8k4TW
-----END RSA PRIVATE KEY-----

Register and Confirme butonuna tıkladığımızda Tüm hostların isimlerinin yazılı oarak göründüğü bir modal çıkıyor. OK butonuna basıyoruz.

4. Confirm Hosts

5. Choose Services

Bir sonraki adımda servisleri seçmemizi ister. Biz şimdi hepsini seçmeyelim. Başlangıç için sadece HDFS ve Zookeper seçsek yaterli olacaktır. Ambari Metrics’i seçmeniz için sizi zorlayacaktır. Smart Sense’i zaten zoraki seçtiriyor. Önemli değil kurulum bitince istediğiniz servisi tekrar silebilirsiniz veya ekleyebilirsiniz.

6. Assign Masters

Burada master ve slave sunucuları belirtip servislerin onlara dağılımını yapmamız gerekiyor. Daha önce cluster planımızı yaptığımız için o plana uygun olarak seçimlerimizi yapıyoruz.

7. Assign Slaves and Clients

Olduğu gibi bırakıyorum.

8. Customize Your Services

Kırmızı ile yanan tablara tıklayın. Önce Grafana Admin için password isteyecektir, giriniz(grafana). Ardından Smart sense admin kullanıcısı için isteyecektir, giriniz(admin). Aşağıdaki yazı görününce devam edin.

9. Review

Burada seçimlerimizin doğruluğunu inceleriz. Sorun yoksa Deploy’a tıklıyoruz.

10. Install, Start and Test

Deploy ile birlikte kurulum, başlatma ve test etme geliyor. Servislerle ilgili yapacağımız tüm operasyonlarda Ambari bu süreci işletir.

İlerleme barları yeşil veya portakal ise kurulum başarılı olmuştur. Portakallar için duruma göre ufak tefek sorun ve hatalar cluster kurulduktan sonra halledilir. Ancak kırmızılar ciddi sıkıntı. Kırmızı ile ilerleyemeyiz 🙂

Kurulum bitip Ambari Ana ekranına döndüğümüzde üç aşağı beş yukarı göreceğimiz şey aşağıdadır.

Hayırlı uğurlu olsun. Artık bizim de gerçek bir Hadoop clusterımız var.  Aşağıya bir kaç farklı arayüz ekliyorum.

Hosts

HDFS