第一篇：cent_OS_下hadoop完全分布式安裝-hadoop2.6.1版-親測自己總結(jié)
一、安裝Cent OS 6
1、首先，要有一張CentOS 6.4的安裝介質(zhì)，使用介質(zhì)啟動電腦出現(xiàn)如下界面 界面說明：
Install or upgrade an existing system 安裝或升級現(xiàn)有的系統(tǒng) install system with basic video driver 安裝過程中采用基本的顯卡驅(qū)動 Rescue installed system 進(jìn)入系統(tǒng)修復(fù)模式 Boot from local drive 退出安裝從硬盤啟動 Memory test 內(nèi)存檢測
注：用聯(lián)想E49安裝時選擇第一項安裝時會出現(xiàn)屏幕顯示異常的問題，后改用第二項安裝時就沒有出現(xiàn)問題
2、介質(zhì)直接“skip”就可以了
3、出現(xiàn)引導(dǎo)界面，點擊“next”
4、選中“English（English）”否則會有部分亂碼問題
5、鍵盤布局選擇“U.S.English”
6、選擇“Basic Storage Devies“點擊”Next“
7、詢問是否忽略所有數(shù)據(jù)，新電腦安裝系統(tǒng)選擇”Yes,discard any data“
8、Hostname填寫格式“英文名.姓”
9、網(wǎng)絡(luò)設(shè)置安裝圖示順序點擊就可以了
這里可以不設(shè)置在安裝完畢后可以通過Linux命令進(jìn)行設(shè)置
10、時區(qū)可以在地圖上點擊，選擇“shanghai”并取消System clock uses UTC前面的對勾
11、設(shè)置root的密碼（重要必須牢記密碼）
12、硬盤分區(qū)，一定要按照圖示點選
如果想安裝雙系統(tǒng)這里不能這么選，請查找資料進(jìn)行選擇
13、調(diào)整分區(qū)，必須要有/home這個分區(qū)，如果沒有這個分區(qū)，安裝部分軟件會出現(xiàn)不能安裝的問題
14、詢問是否格式化分區(qū)
15、將更改寫入到硬盤
16、引導(dǎo)程序安裝位置
17、最重要的一步，也是本教程最關(guān)機(jī)的一步，也是其他教程沒有提及的一步，按圖示順序點擊
18、取消以下內(nèi)容的所有選項
根據(jù)自己的需要進(jìn)行選擇這些都是系統(tǒng)提供的一些工具可以選擇安裝這些工具 Applications Base System Servers 并對Desktops進(jìn)行如下設(shè)置 即取消如下選項：
Desktop Debugging and Performance Tools Desktop Platform Remote Desktop Clients Input Methods中僅保留ibus-pinyin-1.3.8-1.el6.x86_64,其他的全部取消
19、選中Languages，并選中右側(cè)的Chinese Support然后點擊紅色區(qū)域
20、調(diào)整完成后如下圖所示
21、至此，一個最精簡的桌面環(huán)境就設(shè)置完成了，22、安裝完成，重啟
23、重啟之后，的License Information
24、Create User Username：填寫您的英文名（不帶.姓）Full Name：填寫您的英文名.姓（首字母大寫）
25、”Date and Time" 選中 “Synchronize data and time over the network” Finsh之后系統(tǒng)將重啟
26、第一次登錄，登錄前不要做任何更改，這個很重要?。〉卿浿缶o接著退出 第二次登錄，選擇語言，在紅色區(qū)域選擇下拉小三角，選other，選中“漢語（中國）”
27、登錄之后，請一定按照如下順序點擊！
至此，CentOS安裝完成，如有其他問題，請隨時與我聯(lián)系！
二、安裝hadoop 1.新建運行hadoop專屬用戶名cast503，修改主節(jié)點為master，從節(jié)點名稱為slave*
這里使用三臺主機(jī)進(jìn)行搭建，分別為 Master 10.0.4.70 Slave1 10.0.4.71 Slave2 10.0.4.72 以下設(shè)置均在root權(quán)限下進(jìn)行設(shè)置
2.將所有的主機(jī)進(jìn)行組網(wǎng) 修改所有的主機(jī)文件
/etc/hosts
添加主機(jī)名稱和對應(yīng)的IP，形式如下所示 127.0.0.1
localhostlocalhost.localdomain localhost4 localhost4.localdomain4 ::1localhostlocalhost.localdomain localhost6 localhost6.localdomain6 10.0.4.70 Master 10.0.4.71 Slave1 10.0.4.72 Slave2 2修改/etc/sysconfig/network-script/ifcgf-eth0 文件，定義網(wǎng)卡的IP DNS 工作組
IP地址類型（動態(tài)或者靜態(tài)）廣播地址等信息
注意當(dāng)一臺主機(jī)有多張網(wǎng)卡時 /etc/sysconfig/netrok-script/ 文件中包含多個ifcgf-文件，修改接入網(wǎng)絡(luò)的那張網(wǎng)卡的對應(yīng)文件，文件內(nèi)容的正確與否直接關(guān)系到時否能正確組網(wǎng)
文件內(nèi)容包括
DEVICE=eth0
#網(wǎng)卡名稱
BOOTPROTO=static #靜態(tài)/動態(tài)IP IPADDR=10.0.4.70 #網(wǎng)卡的IP地址 NETMASK=255.255.255.0 #子網(wǎng)掩碼 GATEWAY=192.168.0.1 #默認(rèn)網(wǎng)關(guān) TYPE=Ethernet 3 關(guān)閉防火墻（如果對防火墻有很好的認(rèn)識可以對防火墻規(guī)則進(jìn)行配置，在滿足Hadoop需要的同時增強(qiáng)系統(tǒng)的安全性，這里只介紹完全關(guān)閉防火墻）
關(guān)閉所有機(jī)器上的防火墻，不然會導(dǎo)致datanode起不來 臨時關(guān)閉：service iptables stop 永久關(guān)閉：chkconfig iptables off
經(jīng)過上面步驟后，計算機(jī)組網(wǎng)已經(jīng)完成，我們可以通過
ping IP地址/主機(jī)名如 ping 10.0.4.71 或者ping slave1的方式來驗證網(wǎng)絡(luò)是否聯(lián)通
3.安裝JDK
注意：各主機(jī)JDK安裝版本和安裝位置必須相同
JDK可以去Oracl官網(wǎng)進(jìn)行下載，可以根據(jù)自己電腦安裝的是 Linux系統(tǒng)來選擇是 64位還是 32 位 JDK for Linux 這里以jdk-7u45-linux-x64.gz為例下載JDK 存放在 /home/cast503/ 目錄下 JDK安裝在/usr/java錄下（需要新建文件mkdir /usr/java 1進(jìn)入/usr/java文件 cd /usr/java 2解壓軟件包jdk-7u45-linux-x64.gzgunzip /home/cast503/jdk-7u45-linux-x64.gz 3解壓后會在 /usr/java/ 目錄下生成 jdk1.8.0_60 文件夾
4配置Java系統(tǒng)環(huán)境變量，在root權(quán)限下打開 /etc/profile 文件
vim /etc/profile 5在文件的末尾添加上如下內(nèi)容(包含hadoop環(huán)境變量)export JAVA_HOME=/usr/java/jdk1.8.0_60 export HADOOP_HOME=/home/cast503/hadoop-2.6.1 export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH:$HADOOP_HOME/sbin export JRE_HOME=$JAVA_HOME/jre 6由于Linux系統(tǒng)默認(rèn)安裝openJDK所以這里要修改默認(rèn)JDK為我們安裝的JDK 在cast503賬戶下輸入下列命令
sudo update-alternatives-install /usr/bin/javacjavac/user/java/jdk1.7.0_45/bin/javac 300(注意紅色部分是設(shè)置的JAVA_HOME的文件路徑，也就是Java的安裝路徑)Sudo update-alternatives--config java 會出現(xiàn)Linux中所有可用的JDK 我們選擇自己安裝的JDK 安回車鍵即可 7 查看Linux是否是我們安裝的JDK 輸入命令 Java-version
如果出現(xiàn)如下圖所示即為安裝成功
4配置SSH免密碼登錄
如果出現(xiàn)agent admitted failure to sign using the key 解決方式為使用ssh-add指令將私鑰加進(jìn)來
ssh-add /home/cast503/.ssh/id_rsa.ssh目錄的權(quán)限為700
chmod 700 /home/cast503/.ssh authorized_keys文件的權(quán)限為600 chmod 600 /home/cast503/.ssh/authorized_keys
5.配置 hadoop 4.1.1 配置 hadoop-env.sh # cd /usr/lib/hadoop # vim etc/hadoop/hadoop-env.sh(注意，此處不是系統(tǒng)的 etc 目錄)將 JAVA_HOME 修改為剛才配置的位置
4.1.2 配置 core-site.xml # vim etc/hadoop/core-site.xml 添加以下內(nèi)容：
6.啟動Hadoop 1.將master結(jié)點上配置好的hadoop文件夾拷貝到所有的slave結(jié)點上 以slave1為例：命令如下：
scp-r ~/hadoop-2.6.1 hadoop@slave1:~/ 安裝完成后，我們要格式化HDFS然后啟動集群所有節(jié)點。2.格式化HDFS文件系統(tǒng)的namenode（這里要進(jìn)入hadoop-2.6.1目錄來格式化好些）： cd hadoop-2.6.1 //進(jìn)入hadoop-2.6.1目錄 bin/hdfs namenode-format //格式化
3.啟動Hadoop集群 啟動hdrs命令如下：
sbin/start-dfs.sh //開啟進(jìn)程
成功的話輸入jps會出現(xiàn)如下界面：
注：如果不能啟動，需要把 hadoop 目錄下 tmp、dfs 目錄刪除，重新格式化 NN再啟動
點擊咨詢 