BG-12: Lokal Repository Kurulumu
(No Ratings Yet)
Loading...Lokal respository kurum ve şirketlerin sıklıkla kullandığı bir uygulamadır. Lokal repository sayesinde her bir kullanıcı bilgisayarı veya sunucular genel internetten karşıladığı paket yükleme, güncelleme vb. işlemleri kurum/şirket lokal repository’sinden karşılar. Böylelikle yüzlerce binlerce bilgisayarın internetten tek tek yapacağı işi, bir sunucu bir kere yapar. Böylelikle geniş alan ağ trafiği azaltılmış olur. Lokalz repository kullanımına zorunlu hale getiren sebepler de olabilir. Örneği güvenlik politikaları sebebiyle bazı şirket veya kurumlar (örn: askeri karargahlar) bilgisayar ve sunucularının genel ağ (internet) ile bağlantısını tamamen kısıtlayabilir. Bu sebeple Hadoop cluster için gerekli dosyalar genel ağdan alınır, harici harddisk veya başka medyalarla lokal repository sunucusuna taşınır.
Aslında bu yazıda yapacaklarımızı yapmadan da Hadoop kurabiliriz. Ancak biz Apache’nin Hadoop Cluster Yönetim ve İzleme aracı olan Ambari ile Hadoop kurmak istiyoruz. Eğer tercihimizi Ambari ile kurulumdan yana yapmışsak internet bağlantı durumuna göre kurulumun üç yöntemi var:
- İnternet bağlantısı var: Bu durumda herhangi bir repository kurmaya gerek yok. Ambari sunucuda kurulum esnasında Hortonworks’ün public repository adreslerini belirtiyoruz.
- İnternet bağlantısı sınırlı: Bu durumda lokal repository kuruyoruz. Kurulum dosyalarını internet bağlantı kısıtlaması olmayan bir yerden indirip lokal repository’e taşıyoruz. Ancak repo dosyalarını (küçük boyutlu repository konfigürasyon dosyaları) Ambari Server’da konfigüre ettikten sonra clusterdaki diğer sunucularla senkronizesini sınırlı internet bağlantısını kullanarak gerçekleştiriyoruz.
- İnternet bağlantısı hiç yok: Bu durumda yine lokal repository kuruyor ve kurulum dosyalarını başka yerden indirip elle buraya taşıyoruz. Ancak hiç internet bağlantımız olmadığı için küçük repo dosyalarını Ambari Server’da konfigüre ettikten sonra cluster da bulunan diğer sunuculara elle veya pscp.pssh ile kopyalayıp ayarlıyoruz.
Ambari, HDP ve HDP-UTILS lokal repo kurulumu şu adımlardan oluşacak:
- Kurulum dosyalarını indir
- Repo konfigürasyon dosyalarını indir ve düzenle
- Repo dosyalarını tüm cluster sunucularına dağıt
Bütün kurulum dosyalarını indirmek için /var/www/node3.datalonga.com dizininde downloadedrepos klasörü oluşturuyoruz. Tüm tar.gz uzantılı dosyaları buraya indirdireceğiz. Açacağımız dizinleri oluşturduktan sonra tar.gz dosyalarını buralara açacağız.
Ambari Kurulum Dosyalarını İndirme
/var/www/node3.datalonga.com/downloadedrepos dizininde wget ile ambari kurulum dosyalarını indiriyoruz. Ambari kurulum dosyaları (tarball) bu adreste bulabiliriz. Google’dan Ambari repositories diye arattığınızda da karşınıza bu adres çıkacaktır. Ben aşağıdaki şekilde repository listesinin daha anlaşılır olması için biraz açıklamalarda bulundum.
Yukarıdaki şekilden Ambari tarball dosyalarını indirelim:
[root@node3 ~]# cd /var/www/node3.datalonga.com/downloadedrepos/ [root@node3 downloadedrepos]# wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.2.0/ambari-2.5.2.0-centos7.tar.gz --2017-10-01 07:09:25-- http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.2.0/ambari-2.5.2.0-centos7.tar.gz Resolving public-repo-1.hortonworks.com (public-repo-1.hortonworks.com)... 52.85.183.44, 52.85.183.33, 52.85.183.73, ... Connecting to public-repo-1.hortonworks.com (public-repo-1.hortonworks.com)|52.85.183.44|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 1789191682 (1.7G) [application/x-tar] Saving to: ‘ambari-2.5.2.0-centos7.tar.gz’ 5% [==> ] 91,877,442 2.80MB/s eta 10m 7s
İndirme tamalandığına dair aşağıdaki bilgileri görüyoruz.
100%[==============================================================>] 1,789,191,682 2.78MB/s in 10m 13s 2017-10-01 07:19:39 (2.78 MB/s) - ‘ambari-2.5.2.0-centos7.tar.gz’ saved [1789191682/1789191682]
İndirdiğimiz ambari-2.5.2.0-centos7.tar.gz uzantılı dosyasını /var/www/node3.datalonga.com/Ambari-2.5.2.0/centos7 içine açıp içinde neler var bakalım.
[root@node3 downloadedrepos]# cd .. [root@node3 node3.datalonga.com]# mkdir -p Ambari-2.5.2.0/centos7 [root@node3 node3.datalonga.com]# cd Ambari-2.5.2.0/centos7 [root@node3 centos7]# tar xzf /var/www/node3.datalonga.com/downloadedrepos/ambari-2.5.2.0-centos7.tar.gz
Yeni yarattığımız ~/Ambari-2.5.2.0/centos7 dizini içinde dosyalar açılırken tekrar ambari/centos7/<dosyalar> Bu sebeple açılan yerdeki dosyaları yeni oluşturduğumuz dizine çıkarıp boşalanı silmeliyiz.
[root@node3 centos7]# mv ambari/centos7/* . [root@node3 centos7]# rm -r ambari rm: descend into directory ‘ambari’? y rm: remove directory ‘ambari/centos7’? y rm: remove directory ‘ambari’? y
Nihayetinde Ambari için dizinimiz /var/www/node3.datalonga.com/Ambari-2.5.2.0/centos7 web adresimiz ise http://node3.datalonga.com/Ambari-2.5.2.0/centos7 oldu.
HDP Dosyalarını İndirme
Ambari dosyalarını /var/www/node3.datalonga.com/downloadedrepos kök dizinine indirmiştik. HDP ve HDP-UTILS dosyalarını da yine aynı yere indiriyoruz.
HDP dosyaları için bu adrese gitmemiz veya Google’dan Hortonworks HDP repository diye aratmamız gerekecek. Adrese gittiğimizde karşımıza aşağıda bir parçası görülen geniş tablo çıkacak. Bu tabloda ben gerekli açıklamaları yaptım.
downloadedrepos dizinine geçiyoruz ve wget ile HDP tarball indiriyoruz.
[root@node3 downloadedrepos]# wget http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.2.0/HDP-2.6.2.0-centos7-rpm.tar.gz --2017-10-01 07:36:43-- http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.2.0/HDP-2.6.2.0-centos7-rpm.tar.gz Resolving public-repo-1.hortonworks.com (public-repo-1.hortonworks.com)... 52.85.183.104, 52.85.183.73, 52.85.183.69, ... Connecting to public-repo-1.hortonworks.com (public-repo-1.hortonworks.com)|52.85.183.104|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 6902787772 (6.4G) [application/x-tar] Saving to: ‘HDP-2.6.2.0-centos7-rpm.tar.gz’ 13% [=======> ] 919,270,670 2.78MB/s eta 34m 27s
İndirme tamamlandığı zaman aşağıdaki bilgilendirmeyi göreceğiz.
100%[==============================================================>] 6,902,787,772 2.78MB/s in 39m 38s 2017-10-01 08:16:22 (2.77 MB/s) - ‘HDP-2.6.2.0-centos7-rpm.tar.gz’ saved [6902787772/6902787772]
Evet 6 GB’dan daha fazla bir veri indirmiş bulunuyoruz. Eğer bu dosyaları Ambari kurulumu esnasında Hortonworks’ün public repository’sinden indirmiş olsaydık 6 küsür GB verinin inmesini kurulum esnasında bekleyecektik.
Şimdi hdp dizinini listeleyelim.
[root@node3 downloadedrepos]# ls -l total 6741004 -rw-r--r-- 1 root root 6902787772 Aug 30 23:38 HDP-2.6.2.0-centos7-rpm.tar.gz
HDP-2.6.2.0-centos7-rpm.tar.gz dosyasını gördük. Şimdi bunu açacağımız dizini (/var/www/node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0) oluşturalım ve açalım ve açtıktan sonra tekrar listeleyelim.
[root@node3 downloadedrepos]# cd .. [root@node3 node3.datalonga.com]# mkdir -p /hdp/HDP/centos7/2.x/updates/2.6.2.0 [root@node3 downloadedrepos]# tar xzf HDP-2.6.2.0-centos7-rpm.tar.gz /hdp/HDP/centos7/2.x/updates/2.6.2.0
HDP/centos7 adında bir klasör içine çıkaracaktır. Bu klasörden kurtarın. Daha sonraki dizin içi görünümü:
[root@node3 downloadedrepos]# cd .. [root@node3 node3.datalonga.com]# cd hdp/HDP/centos7/2.x/updates/2.6.2.0 [root@node3 2.6.2.0]# mv HDP/centos7/* hdp/HDP/centos7/2.x/updates/2.6.2.0 [root@node3 2.6.2.0]# rm -r HDP [root@node3 2.6.2.0]# ls -l total 100 drwxr-xr-x 2 1001 users 200 Aug 30 22:56 accumulo -rw-r--r-- 1 1001 users 21236 Aug 30 22:33 artifacts.txt drwxr-xr-x 2 1001 users 4096 Aug 30 22:56 atlas drwxr-xr-x 2 1001 users 47 Aug 30 22:56 bigtop-jsvc drwxr-xr-x 2 1001 users 47 Aug 30 22:56 bigtop-tomcat -rw-r--r-- 1 1001 users 539 Aug 30 22:33 build.id -rw-r--r-- 1 1001 users 8841 Aug 30 22:33 build_metadata.txt drwxr-xr-x 2 1001 users 61 Aug 30 22:56 datafu drwxr-xr-x 2 1001 users 60 Aug 30 22:56 druid drwxr-xr-x 2 1001 users 122 Aug 30 22:56 falcon drwxr-xr-x 2 1001 users 120 Aug 30 22:56 flume drwxr-xr-x 2 1001 users 4096 Aug 30 22:56 hadoop drwxr-xr-x 2 1001 users 129 Aug 30 22:56 hadooplzo drwxr-xr-x 2 1001 users 4096 Aug 30 22:56 hbase -rw-r--r-- 1 1001 users 2612 Aug 30 22:36 HDP-2.6.2.0-205.xml -rw-r--r-- 1 1001 users 575 Aug 30 22:36 hdp.repo drwxr-xr-x 2 1001 users 47 Aug 30 22:56 hdp-select drwxr-xr-x 2 1001 users 4096 Aug 30 22:57 hive drwxr-xr-x 2 1001 users 119 Aug 30 22:57 hive2 -rw-r--r-- 1 1001 users 498 Aug 30 22:33 hotfix_index.html drwxr-xr-x 2 1001 users 327 Aug 30 22:57 hue -rw-r--r-- 1 1001 users 503 Aug 30 22:33 index.html drwxr-xr-x 2 1001 users 61 Aug 30 22:57 kafka drwxr-xr-x 2 1001 users 60 Aug 30 22:57 knox drwxr-xr-x 2 1001 users 113 Aug 30 22:57 livy drwxr-xr-x 2 1001 users 120 Aug 30 22:57 mahout drwxr-xr-x 2 1001 users 4096 Aug 30 22:57 oozie drwxr-xr-x 2 1001 users 62 Aug 30 22:57 phoenix drwxr-xr-x 2 1001 users 59 Aug 30 22:57 pig -rw-r--r-- 1 1001 users 494 Aug 30 22:33 private_index.html -rw-r--r-- 1 1001 users 493 Aug 30 22:33 public_index.html drwxr-xr-x 2 1001 users 4096 Aug 30 22:57 ranger drwxr-xr-x 2 1001 users 4096 Aug 30 22:57 repodata drwxr-xr-x 2 1001 users 33 Aug 30 22:56 RPM-GPG-KEY drwxr-xr-x 2 1001 users 58 Aug 30 22:57 shc drwxr-xr-x 2 1001 users 62 Aug 30 22:58 slider drwxr-xr-x 2 1001 users 4096 Aug 30 22:58 slider-app-packages drwxr-xr-x 2 1001 users 310 Aug 30 22:58 spark drwxr-xr-x 2 1001 users 315 Aug 30 22:58 spark2 drwxr-xr-x 2 1001 users 65 Aug 30 22:58 spark_llap drwxr-xr-x 2 1001 users 124 Aug 30 22:58 sqoop drwxr-xr-x 2 1001 users 128 Aug 30 22:58 storm drwxr-xr-x 2 1001 users 64 Aug 30 22:58 superset drwxr-xr-x 2 1001 users 58 Aug 30 23:01 tez drwxr-xr-x 2 1001 users 64 Aug 30 23:01 tez_hive2 drwxr-xr-x 33 1001 users 4096 Aug 30 23:01 vrpms drwxr-xr-x 2 1001 users 63 Aug 30 23:01 zeppelin drwxr-xr-x 2 1001 users 129 Aug 30 23:01 zookeeper
Eğer HDP’den kurtulamadıysanız sadece HDP veya centos7 görürsünüz.
Nihayetinde HDP dosyalarımızın dizini: /var/www/node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0, web adresi ise: http://node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0 oldu.
HDP-UTILS Dosyalarını İndirme
HDP-UTILS kaynak dosyalarını buradan bulabiliriz.
[root@node3 downloadedrepos]# wget http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz --2017-10-01 14:43:49-- http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz Resolving public-repo-1.hortonworks.com (public-repo-1.hortonworks.com)... 52.85.183.69, 52.85.183.104, 52.85.183.166, ... Connecting to public-repo-1.hortonworks.com (public-repo-1.hortonworks.com)|52.85.183.69|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 871438951 (831M) [application/x-gzip] Saving to: ‘HDP-UTILS-1.1.0.21-centos7.tar.gz’ 6% [==> ] 53,697,203 2.35MB/s eta 6m 13s
Dizin içini listeleyip bakalım:
[root@node3 downloadedrepos]# ls -l total 851016 -rw-r--r-- 1 root root 871438951 Jun 10 06:16 HDP-UTILS-1.1.0.21-centos7.tar.gz
HDP-UTILS-1.1.0.21-centos7.tar.gz dosyasını gördük. Şimdi HDP-UTIS için şu dizini oluşturalım: /var/www/node3.datalonga.com/hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21 bunu aynı dizine açıyoruz ve listeliyoruz.
[root@node3 downloadedrepos]# cd .. [root@node3 node3.datalonga.com]# mkdir -p hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21 [root@node3 node3.datalonga.com]# cd downloadedrepos [root@node3 downloadedrepos]# tar xzf HDP-UTILS-1.1.0.21-centos7.tar.gz hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21 [root@node3 downloadedrepos]# cd hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21 [root@node3 1.1.0.21]# ls -l total 851048 -rw-r--r-- 1 1001 users 14548 Mar 30 2017 epel-release-6-8.noarch.rpm drwxr-xr-x 2 1001 users 36 May 29 09:46 extjs drwxr-xr-x 2 1001 users 43 May 29 09:46 fping drwxr-xr-x 2 1001 users 308 May 29 09:46 ganglia drwxr-xr-x 2 1001 users 87 May 29 09:46 hadoop-lzo -rw-r--r-- 1 1001 users 192 Mar 30 2017 hdp-util.repo -rw-r--r-- 1 root root 871438951 Jun 10 06:16 HDP-UTILS-1.1.0.21-centos7.tar.gz drwxr-xr-x 2 1001 users 45 May 29 09:46 libconfuse drwxr-xr-x 2 1001 users 51 May 29 09:46 lucid drwxr-xr-x 2 1001 users 162 May 29 09:46 lzo drwxr-xr-x 2 1001 users 54 May 29 09:46 mysql drwxr-xr-x 2 1001 users 102 May 29 09:46 mysql-connector-java drwxr-xr-x 2 1001 users 162 May 29 09:46 nagios drwxr-xr-x 2 1001 users 98 May 29 09:46 nagios-plugins drwxr-xr-x 2 1001 users 4096 May 29 09:47 openblas drwxr-xr-x 2 1001 users 134 May 29 09:47 pdsh drwxr-xr-x 2 1001 users 94 May 29 09:47 perl drwxr-xr-x 2 1001 users 320 May 29 09:46 R drwxr-xr-x 2 1001 users 4096 Jun 10 06:10 repodata drwxr-xr-x 2 1001 users 33 May 29 09:46 RPM-GPG-KEY drwxr-xr-x 2 1001 users 4096 May 29 09:47 rrdtool drwxr-xr-x 2 1001 users 162 Jun 10 06:08 snappy
İçinde bir dolu dosya var 🙂
Sonuç olarak HDP-UTILS için dizin adresimiz: /var/www/node3.datalonga.com/hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21, web adresi ise: http://node3.datalonga.com/hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21 oldu.
Ambari Repository Konfigürasyon Dosyasını Ayarlama
/var/www/node3.datalonga.com/Ambari-2.5.2.0/centos7/ambari.repo konfigürasyon dosyasını açıyoruz ve içinde aşağıdaki değişiklikleri yapıyoruz.
#VERSION_NUMBER=2.5.2.0-298 [Updates-Ambari-2.5.2.0] name=Ambari-2.5.2.0-Updates baseurl=http://node3.datalonga.com/Ambari-2.5.2.0/centos7 gpgcheck=1 gpgkey=http://node3.datalonga.com/Ambari-2.5.2.0/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1
Bu dosyayı kapatıp çıkalım ve tüm cluster hostlarında /etc/yum.repos.d/ dizinine kopyalayalım.
[root@node3 ~]# pscp.pssh -h cluster-hosts /var/www/node3.datalonga.com/Ambari-2.5.2.0/centos7/ambari.repo /etc/yum.repos.d/ [1] 20:45:41 [SUCCESS] node2.datalonga.com [2] 20:45:41 [SUCCESS] node1.datalonga.com [3] 20:45:41 [SUCCESS] node3.datalonga.com [4] 20:45:41 [SUCCESS] node4.datalonga.com [5] 20:45:41 [SUCCESS] node5.datalonga.com [6] 20:45:41 [SUCCESS] node6.datalonga.com
pscp.pssh komutunu hatırlamak adına aşağıdaki şekli tekrar buraya da koyuyorum
Evet ambari reposunu başarıyla yapılandırdık.
HDP ve HDP-UTILS Repository Konfigürasyon Dosyasını Ayarlama
/var/www/node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0/hdp.repo dosyasının içini açıp aşağıdaki değişiklikleri yapıyoruz.
[root@node3 ~]# nano /var/www/node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0/hdp.repo #VERSION_NUMBER=2.6.2.0-205 [HDP-2.6.2.0] name=HDP Version - HDP-2.6.2.0 baseurl=http://node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0 gpgcheck=1 gpgkey=http://node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1 [HDP-UTILS-1.1.0.21] name=HDP-UTILS Version - HDP-UTILS-1.1.0.21 baseurl=http://node3.datalonga.com/hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21 gpgcheck=1 gpgkey=http://node3.datalonga.com/hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1
Bu dosyayı kapatıp çıkalım ve bu soayayı tüm cluster hostlarında /etc/yum.repos.d/ dizinine kopyalayalım.
[root@node3 ~]# pscp.pssh -h cluster-hosts /var/www/node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0/hdp.repo /etc/yum.repos.d/ [1] 20:49:04 [SUCCESS] node1.datalonga.com [2] 20:49:04 [SUCCESS] node2.datalonga.com [3] 20:49:04 [SUCCESS] node4.datalonga.com [4] 20:49:04 [SUCCESS] node3.datalonga.com [5] 20:49:04 [SUCCESS] node5.datalonga.com [6] 20:49:04 [SUCCESS] node6.datalonga.com
Gördüğünüz gibi her iki dosya da (ambari.repo, hdp.repo) bütün cluster sunucularına başarıyla kopyalandı.
Şimdi pssh ile tüm sunucularda yum repolist kontrolü yapalım ve local repository’nin cluster çapında çalıştığı ve tüm sunucular tarafından tanındığından emin olalım.
[root@node3 ~]# pssh -h /root/cluster-hosts -i "yum repolist" [1] 21:59:01 [SUCCESS] node4.datalonga.com Loaded plugins: fastestmirror Loading mirror speeds from cached hostfile * base: mirror.rackdc.com * extras: mirror.rackdc.com * updates: mirror.rackdc.com repo id repo name status HDP-2.6.2.0 HDP Version - HDP-2.6.2.0 236 HDP-UTILS-1.1.0.21 HDP-UTILS Version - HDP-UTILS-1.1.0.21 64 Updates-Ambari-2.5.2.0 Ambari-2.5.2.0-Updates 12 base/7/x86_64 CentOS-7 - Base 9,591 extras/7/x86_64 CentOS-7 - Extras 224 updates/7/x86_64 CentOS-7 - Updates 729 repolist: 10,856 [2] 21:59:01 [SUCCESS] node6.datalonga.com Loaded plugins: fastestmirror Loading mirror speeds from cached hostfile * base: mirror.rackdc.com * extras: mirror.rackdc.com * updates: mirror.rackdc.com repo id repo name status HDP-2.6.2.0 HDP Version - HDP-2.6.2.0 236 HDP-UTILS-1.1.0.21 HDP-UTILS Version - HDP-UTILS-1.1.0.21 64 Updates-Ambari-2.5.2.0 Ambari-2.5.2.0-Updates 12 base/7/x86_64 CentOS-7 - Base 9,591 extras/7/x86_64 CentOS-7 - Extras 224 updates/7/x86_64 CentOS-7 - Updates 729 repolist: 10,856 [3] 21:59:02 [SUCCESS] node1.datalonga.com Loaded plugins: fastestmirror Loading mirror speeds from cached hostfile * base: mirror.rackdc.com * extras: mirror.rackdc.com * updates: mirror.rackdc.com repo id repo name status HDP-2.6.2.0 HDP Version - HDP-2.6.2.0 236 HDP-UTILS-1.1.0.21 HDP-UTILS Version - HDP-UTILS-1.1.0.21 64 Updates-Ambari-2.5.2.0 Ambari-2.5.2.0-Updates 12 base/7/x86_64 CentOS-7 - Base 9,591 extras/7/x86_64 CentOS-7 - Extras 224 updates/7/x86_64 CentOS-7 - Updates 729 repolist: 10,856 [4] 21:59:02 [SUCCESS] node5.datalonga.com Loaded plugins: fastestmirror Loading mirror speeds from cached hostfile * base: mirror.rackdc.com * extras: mirror.rackdc.com * updates: mirror.rackdc.com repo id repo name status HDP-2.6.2.0 HDP Version - HDP-2.6.2.0 236 HDP-UTILS-1.1.0.21 HDP-UTILS Version - HDP-UTILS-1.1.0.21 64 Updates-Ambari-2.5.2.0 Ambari-2.5.2.0-Updates 12 base/7/x86_64 CentOS-7 - Base 9,591 extras/7/x86_64 CentOS-7 - Extras 224 updates/7/x86_64 CentOS-7 - Updates 729 repolist: 10,856 [5] 21:59:03 [SUCCESS] node2.datalonga.com Loaded plugins: fastestmirror Loading mirror speeds from cached hostfile * base: mirror.rackdc.com * extras: mirror.rackdc.com * updates: mirror.rackdc.com repo id repo name status HDP-2.6.2.0 HDP Version - HDP-2.6.2.0 236 HDP-UTILS-1.1.0.21 HDP-UTILS Version - HDP-UTILS-1.1.0.21 64 Updates-Ambari-2.5.2.0 Ambari-2.5.2.0-Updates 12 base/7/x86_64 CentOS-7 - Base 9,591 extras/7/x86_64 CentOS-7 - Extras 224 updates/7/x86_64 CentOS-7 - Updates 729 repolist: 10,856 [6] 21:59:03 [SUCCESS] node3.datalonga.com Loaded plugins: fastestmirror Loading mirror speeds from cached hostfile * base: mirror.rackdc.com * epel: mirror.veriteknik.net.tr * extras: mirror.rackdc.com * updates: mirror.saglayici.com repo id repo name status HDP-2.6.2.0 HDP Version - HDP-2.6.2.0 236 HDP-UTILS-1.1.0.21 HDP-UTILS Version - HDP-UTILS-1.1.0.21 64 Updates-Ambari-2.5.2.0 Ambari-2.5.2.0-Updates 12 base/7/x86_64 CentOS-7 - Base 9,591 epel/x86_64 Extra Packages for Enterprise Linux 7 - x86_64 11,969 extras/7/x86_64 CentOS-7 - Extras 224 updates/7/x86_64 CentOS-7 - Updates 729 repolist: 22,825
Evet görüldüğü gibi tüm sunucular Ambari/Edge Server/node3 üzerinde oluşturduğumuz cluster lokal repository mizi tanıdı ve listelediler. Gereksiz dosyalardan kurtuluyoruz. Ancak ileride tekrar kurma ihtimalinize karşı ambari-2.5.2.0-centos7.tar.gz, HDP-2.6.2.0-centos7-rpm.tar.gz ve HDP-UTILS-1.1.0.21-centos7.tar.gz dosyalarını ana makinede yedekleyiniz. Bunun için scp kullanabilirsiniz. Yedekleme yaptıktan sonra downloadedrepos klasörü içindeki herşeyi aşağıdaki komutla silebiliriz.
[root@node3 ~]# rm -rf /var/www/node3.datalonga.com/downloadedrepos/*
Gerçekten büyük bir iş bitti. Bana cluster kurmanın en zor gelen iki aşaması var: İlki baz şablon sunucuyu hazırlamak, ikincisi ise lokal repository oluşturmak. Bu ikisini kazasız belasız geçtikten sonra geri kalan kısım çok daha eğlenceli.
Kendinize bir iyilik yapın, gidin kahve falan için, bunu fazlasıyla hakettiniz. Eğlenceli tarafta görüşmek üzere…
Kapak: Photo by JOSHUA COLEMAN on Unsplash
![](https://www.veribilimiokulu.com/wp-content/uploads/2020/05/logo-e1590873495165.png"){kind=logo}