BG10: Hadoop Cluster Planı

Erkan ŞİRİN 17 Kasım 2017 Büyük Veri, Hadoop 0 1082 304 kelime - 2 dakika53

---

Bu yazıya puan ver

(No Ratings Yet)

Loading...

---

Hadoop clusterında bulunacak servislerin sunuculara dağıtımına cluster planlaması diyoruz. Hangi servis hangi sunucuda çalışacak, master nodelar hangileri, slave nodelar hangileri, edge server hangisi olacak, meta data tutan ilişkisel veritabanlarını nereye kuracağız, local repository nerede olacak bunların planlamasını bu aşamada yapıyoruz. Aşağıdaki şekilde plana göz atılabilir. Şeklin anlaşılır kılmak adına ayrıntılara yer vermedik.

Biz burada basit bir cluster kuracağımız için çok önemli değil ancak canlı ortamda şirket veya kurum için yapılacak kurulumlarda şirket/kurum ihtiyaçları göz önüne alınmalıdır. Bu ihtiyaca göre sunucu, disk, işlemci ve ağ bileşenleri seçilmelidir. Örneğin beklenti hesaplama yönünde ise daha güçlü işlemci ve hızlı ağ cihazları (dağıtık hesaplamanın tabiatı gereği), veri soğuk ve seyrek erişilecek ancak hacim çok büyük ise düşük performanslı ama hacimli diskler gibi. Cluster planımıza göre makinelere ana bellek ve işlemci çekirdeği planlaması yapalım:

Benim bilgisayarımda toplam 8 çekirdek ve 32 GB ana bellek var. Ben bunun 6 çekirdeğini ve 26 GB RAM’ini cluster için ayırıyorum. Kalan 2 çekirdek ve 6 GB bellek de ana makine için olsun.

node1: NameNode – 1 çekirdek, 4 GB RAM

• NameNode
• Zookeper1

node2: ResourManager – 1 çekirdek 4 GB RAM

• ResourceManager
• Standby NameNode
• Zookeper2

node3: Edge Node – 2 çekirdek 6 GB RAM

• Ambari Server
• Cluster Local repository
• Zookeper
• JobHistory Server
• MySQL Database
• Zookeper3

node4: DataNode1 – 1 çekirdek 4 GB RAM

node5: DataNode2 – 1 çekirdek 4 GB RAM

node6: DataNode3 – 1 çekirdek 4 GB RAM

Tüm makineleri kapattıktan sonra RAM ayarlamasını yapabiliriz. İşlemci zaten birer çekirdek verebilmiştik.

Bir sonraki yazımızda node3 Edge Server’ı hazırlayacağız.