第一篇：在三臺(tái)虛擬機(jī)上部署多節(jié)點(diǎn)Hadoop
cd /etc/network vi interfaces 進(jìn)入vi后，編輯 auto eth0 iface eth0 inet static address IP地址 netmask 掩碼 gateway 網(wǎng)關(guān)
重啟SSH：
serivce ssh restart 重啟網(wǎng)卡: /etc/init.d/networking restart 取得root權(quán)限：
sudo passwd su 1.硬件環(huán)境
共有3臺(tái)機(jī)器，均使用的linux系統(tǒng)，Java使用的是openjdk-6-jdk sudo apt-get update sudo apt-get install openjdk-6-jdk 修改主機(jī)名：
su vi /etc/hostname IP配置如下：
hadoop1：192.168.75.132(NameNode)hadoop2：192.168.75.131(DataNode)hadoop3：192.168.75.133(DataNode)這里有一點(diǎn)需要強(qiáng)調(diào)的就是，務(wù)必要確保每臺(tái)機(jī)器的主機(jī)名和IP地址之間能正確解析。一個(gè)很簡單的測試辦法就是ping一下主機(jī)名，比如在hadoop1上ping hadoop2，如果能ping通就OK！若不能正確解析，可以修改/etc/hosts文件，如果該臺(tái)機(jī)器作Namenode用，則需要在hosts文件中加上集群中所有機(jī)器的IP地址及其對(duì)應(yīng)的主機(jī)名；如果該臺(tái)機(jī)器作Datanode用，則只需要在hosts文件中加上本機(jī)IP地址和Namenode機(jī)器的IP地址。
以本文為例，hadoop1(NameNode)中的/etc/hosts文件看起來應(yīng)該是這樣的：
vi /etc/hosts 127.0.0.1 hadoop1 localhost 192.168.75.132 hadoop1 hadoop1 192.168.75.131 hadoop2 hadoop2 192.168.75.133 hadoop3 hadoop3 hadoop2(DataNode)中的/etc/hosts文件看起來就應(yīng)該是這樣的： 127.0.0.1 hadoop2 localhost 192.168.75.132 hadoop1 hadoop1 192.168.75.131 hadoop2 hadoop2 hadoop3(DataNode)中的/etc/hosts文件看起來就應(yīng)該是這樣的： 127.0.0.1 hadoop3 localhost 192.168.75.132 hadoop1 hadoop1 192.168.75.133 hadoop3 hadoop3 對(duì)于Hadoop來說，在HDFS看來，節(jié)點(diǎn)分為Namenode和Datanode，其中Namenode只有一個(gè)，Datanode可以是很多；在MapReduce看來，節(jié)點(diǎn)又分為Jobtracker和Tasktracker，其中Jobtracker只有一個(gè)，Tasktracker可以是很多。我是將namenode和jobtracker部署在hadoop1上，hadoop2, hadoop3作為datanode和tasktracker。當(dāng)然你也可以將namenode，datanode，jobtracker，tasktracker全部部署在一臺(tái)機(jī)器上。
2.目錄結(jié)構(gòu)
由于Hadoop要求所有機(jī)器上hadoop的部署目錄結(jié)構(gòu)要相同，并且都有一個(gè)相同的用戶名的帳戶。
addgroup hadoop adduser--ingroup hadoop hadoop 三臺(tái)機(jī)器上是這樣的：都有一個(gè)hadoop的帳戶，主目錄是/home/hadoop。
下載hadoop：
wget http://mirror.bjtu.edu.cn/apache/hadoop/core/stable/hadoop-0.20.203.0rc1.tar.gz 解壓：[hadoop@ hadoop1:~]$tar-zxvf hadoop-0.21.0.tar.gz Hadoop部署目錄結(jié)構(gòu)如下：/home/hadoop/hadoop0.21.0，所有的hadoop版本放在這個(gè)目錄中。
將hadoop0.21.0壓縮包解壓至hadoop0.21.0中，為了方便以后升級(jí)，建議建立一個(gè)鏈接指向要使用的hadoop版本，不妨設(shè)為hadoop，[hadoop@ hadoop1:~]$ln-s hadoop-0.21.0 hadoop 這樣一來，所有的配置文件都在/home/hadoop/hadoop/conf/目錄中，所有執(zhí)行程序都在/home/hadoop/hadoop/bin目錄中。但是由于上述目錄中hadoop的配置文件和hadoop的安裝目錄是放在一起的，這樣一旦日后升級(jí)hadoop版本的時(shí)候所有的配置文件都會(huì)被覆蓋，因此建議將配置文件與安裝目錄分離，一種比較好的方法就是建立一個(gè)存放配置文件的目錄，/home/hadoop/hadoop/hadoop-config，然后將/home/hadoop/hadoop/conf/目錄中的masters，slaves，hadoop-env.sh三個(gè)文件拷貝到hadoop-config目錄中，并指定環(huán)境變量$HADOOP_CONF_DIR指向該目錄。環(huán)境變量在/home/hadoop/.bashrc和/etc/profile中設(shè)定。
如：
HADOOP_CONF_DIR=/home/hadoop/hadoop/hadoop-config export HADOOP_CONF_DIR 即：
cd /home/hadoop/hadoop mkdir hadoop-config cp conf/masters hadoop-config/ cp conf/slaves hadoop-config/ cp conf/hadoop-env.sh hadoop-config/ sudo vi /etc/profile HADOOP_CONF_DIR=/home/hadoop/hadoop/hadoop-config export HADOOP_CONF_DIR vi /home/hadoop/.bashrc HADOOP_CONF_DIR=/home/hadoop/hadoop/hadoop-config export HADOOP_CONF_DIR 綜上所述，為了方便以后升級(jí)版本，我們需要做到配置文件與安裝目錄分離，并通過設(shè)定一個(gè)指向我們要使用的版本的hadoop的鏈接，這樣可以減少我們對(duì)配置文件的維護(hù)。
3.SSH設(shè)置
在Hadoop啟動(dòng)以后，Namenode是通過SSH(Secure Shell)來啟動(dòng)和停止各個(gè)節(jié)點(diǎn)上的各種守護(hù)進(jìn)程的，這就需要在節(jié)點(diǎn)之間執(zhí)行指令的時(shí)候是不需要輸入密碼的方式，故我們需要配置SSH使用無密碼公鑰認(rèn)證的方式。
首先要保證每臺(tái)機(jī)器上都裝了SSH服務(wù)器，且都正常啟動(dòng)。實(shí)際中我們用的都是OpenSSH，這是SSH協(xié)議的一個(gè)免費(fèi)開源實(shí)現(xiàn)。
apt-get install ssh 以本文中的3臺(tái)機(jī)器為例，現(xiàn)在hadoop1是主節(jié)點(diǎn)，它需要主動(dòng)發(fā)起SSH連接到hadoop2，對(duì)于SSH服務(wù)來說，hadoop1就是SSH客戶端，而hadoop2, hadoop3則是SSH服務(wù)端，因此在hadoop2，hadoop3上需要確定sshd服務(wù)已經(jīng)啟動(dòng)。簡單的說，在hadoop1上需要生成一個(gè)密鑰對(duì)，即一個(gè)私鑰，一個(gè)公鑰。將公鑰拷貝到hadoop2上，這樣，比如當(dāng)hadoop1向hadoop2發(fā)起ssh連接的時(shí)候，hadoop2上就會(huì)生成一個(gè)隨機(jī)數(shù)并用hadoop1的公鑰對(duì)這個(gè)隨機(jī)數(shù)進(jìn)行加密，并發(fā)送給hadoop1，hadoop1收到這個(gè)加密的數(shù)以后用私鑰進(jìn)行解密，并將解密后的數(shù)發(fā)送回hadoop2，hadoop2確認(rèn)解密的數(shù)無誤后就允許hadoop1進(jìn)行連接了。這就完成了一次公鑰認(rèn)證過程。
對(duì)于本文中的3臺(tái)機(jī)器，首先在hadoop1上生成密鑰對(duì)：
[hapoop@hadoop1:~]$ssh-keygen-t dsa –P ‘’ –f ~/.ssh/id_dsa 這個(gè)命令將為hadoop1上的用戶hadoop生成其密鑰對(duì)。生成的密鑰對(duì)id_rsa，id_rsa.pub，在/home/hadoop/.ssh目錄下。
[hapoop@hadoop1:.ssh]$cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 然后將id_rsa.pub的內(nèi)容復(fù)制/home/hadoop/.ssh/authorized_keys文件中。
對(duì)于hadoop2：[hapoop @ hadoop2:~]$mkdir.ssh 對(duì)于hadoop3：[hapoop @ hadoop3:~]$mkdir.ssh [hapoop @ hapoop1:.ssh]$scp authorized_keys hapoop2:/home/hapoop/.ssh/ [hapoop @ hapoop1:.ssh]$scp authorized_keys hapoop3:/home/hapoop/.ssh/
此處的scp就是通過ssh進(jìn)行遠(yuǎn)程copy，此處需要輸入遠(yuǎn)程主機(jī)的密碼，即hadoop2，hadoop3機(jī)器上hadoop帳戶的密碼，當(dāng)然，你也可以用其他方法將authorized_keys文件拷貝到其他機(jī)器上。
[hadoop@hadoop2:.ssh]$chmod 640 authorized_keys [hadoop@hadoop3:.ssh]$chmod 640 authorized_keys
這一步非常關(guān)鍵，必須保證authorized_keys只對(duì)其所有者有讀寫權(quán)限，其他人不允許有寫的權(quán)限，否則SSH是不會(huì)工作的。
[hadoop@ hadoop2:.ssh] $ls-la
drwx------2 hadoop hadoop.drwx------3 hadoop hadoop..-rw-r--r--1 hadoop hadoop authorized_keys
注意每個(gè)機(jī)器上的.ssh目錄的ls-la都應(yīng)該和上面是一樣的
接著，在3臺(tái)機(jī)器上都需要對(duì)sshd服務(wù)進(jìn)行配置，修改文件/etc/ssh/sshd_config。
vi /etc/ssh/sshd_config #去除密碼認(rèn)證
PasswordAuthentication no
(?如果這樣，putty就不能登陸Linux了,去掉)AuthorizedKeysFile.ssh/authorized_keys 至此各個(gè)機(jī)器上的SSH配置已經(jīng)完成，可以測試一下了，比如hadoop1向hadoop2發(fā)起ssh連接。
[hadoop@hadoop1:~]$ssh hadoop2 如果ssh配置好了，就會(huì)出現(xiàn)以下提示信息 The authenticity of host [hadoop2] can't be established.Key fingerprint is 1024 5f:a0:0b:65:d3:82:df:ab:44:62:6d:98:9c:fe:e9:52.Are you sure you want to continue connecting(yes/no)? OpenSSH告訴你它不知道這臺(tái)主機(jī)，但是你不用擔(dān)心這個(gè)問題，因?yàn)槟闶堑谝淮蔚卿涍@臺(tái)主機(jī)。鍵入“yes”。這將把這臺(tái)主機(jī)的“識(shí)別標(biāo)記”加到“~/.ssh/know_hosts”文件中。第二次訪問這臺(tái)主機(jī)的時(shí)候就不會(huì)再顯示這條提示信息了。
然后你會(huì)發(fā)現(xiàn)不需要輸入密碼就可以建立ssh連接了，恭喜你，配置成功了,不過，別忘了測試本機(jī)ssh hadoop1。
(應(yīng)該是只設(shè)置hadoop1對(duì)hadoop2發(fā)送ssh連接和hadoop1對(duì)hadoop3發(fā)送ssh連接，下面的需要配置嗎？)同樣，hadoop1對(duì)hadoop3發(fā)起ssh連接，再在hadoop3發(fā)起對(duì)hadoop1的連接。這里不在贅述。
4.Hadoop環(huán)境變量
在/home/hadoop/hadoop/hadoop-config目錄下的hadoop-env.sh中設(shè)置Hadoop需要的環(huán)境變量，其中JAVA_HOME是必須設(shè)定的變量。HADOOP_HOME變量可以設(shè)定也可以不設(shè)定，如果不設(shè)定，HADOOP_HOME默認(rèn)的是bin目錄的父目錄，即本文中的/home/hadoop/hadoop。我的是這樣設(shè)置的: export HADOOP_HOME=/home/hadoop/hadoop 這一句話export JAVA_HOME=/usr/java/jdk1.6.0_20改成： export JAVA_HOME=/usr/lib/jvm/java-6-openjdk 5.Hadoop配置文件
修改slaves文件
如前所述，在hadoop1(NameNode)的hadoop-config/目錄下，打開slaves文件，該文件用來指定所有的DataNode，一行指定一個(gè)主機(jī)名。即本文中的hadoop2、hadoop3，因此slaves文件看起來應(yīng)該是這樣的：
括號(hào)？？？？？？ 即hadoop2和192.168.75.131二者寫一個(gè)就行 hadoop2（192.168.75.131）hadoop3（192.168.75.133）修改masters文件
打開masters文件，該文件用來指定NameNode，內(nèi)容如下： hadoop1（192.168.75.132）
在hadoop的安裝目錄分別找到core-default.xml，hdfs-default.xml，mapred-default.xml三個(gè)文件，然后copy到hadoop-config/目錄下，這三個(gè)文件包含Hadoop的所有配置項(xiàng)，然后把這個(gè)分別改名為core-site.xml，hdfs-site.xml，mapred-site.xml，我們根據(jù)需要修改如下：（注意：下面的配置文件中不要有中文或中文的符號(hào)，否則報(bào)錯(cuò)）修改core-site.xml core-site.xml的修改項(xiàng)如下:
[hadoop@hadoop1:~]$scp-r /home/hadoop/hadoop hadoop2:/home/hadoop/ [hadoop@hadoop1:~]$scp-r /home/hadoop/hadoop hadoop3:/home/hadoop/
至此，可以說，Hadoop已經(jīng)在各個(gè)機(jī)器上部署完畢了，下面就讓我們開始啟動(dòng)Hadoop吧。
7.啟動(dòng)Hadoop 啟動(dòng)之前，我們先要格式化namenode，先進(jìn)入~/hadoop/目錄，執(zhí)行下面的命令：
[hadoop@hadoop1 hadoop]$bin/hadoop namenode –format 不出意外，應(yīng)該會(huì)提示格式化成功。如果不成功，就去hadoop/logs/目錄下去查看日志文件。
下面就該正式啟動(dòng)hadoop啦，在bin/下面有很多啟動(dòng)腳本，可以根據(jù)自己的需要來啟動(dòng)。
* start-all.sh 啟動(dòng)所有的Hadoop守護(hù)。包括namenode, datanode, jobtracker, tasktrack * stop-all.sh 停止所有的Hadoop * start-mapred.sh 啟動(dòng)Map/Reduce守護(hù)。包括Jobtracker和Tasktrack * stop-mapred.sh 停止Map/Reduce守護(hù)
* start-dfs.sh 啟動(dòng)Hadoop DFS守護(hù).Namenode和Datanode * stop-dfs.sh 停止DFS守護(hù)
在這里，簡單啟動(dòng)所有守護(hù)：
[hadoop@hadoop1:hadoop]$bin/start-all.sh 同樣，如果要停止hadoop，則
[hadoop@hadoop1:hadoop]$bin/stop-all.sh 8.HDFS操作
運(yùn)行bin/目錄的hadoop命令，可以查看Haoop所有支持的操作及其用法，這里以幾個(gè)簡單的操作為例。建立目錄：
[hadoop@hadoop1 hadoop]$bin/hadoop dfs-mkdir testdir 在HDFS中建立一個(gè)名為testdir的目錄，復(fù)制文件：
[hadoop@hadoop1 hadoop]$bin/hadoop dfs-put /home/large.zip testfile.zip 把本地文件large.zip拷貝到HDFS的根目錄/user/hadoop/下，文件名為testfile.zip，查看現(xiàn)有文件：
[hadoop@hadoop1 hadoop]$bin/hadoop dfs-ls 1 多機(jī)模式部署
一、Jdk安裝 命令：
sudo apt-get update sudo apt-get install openjdk-6-jdk 目錄：/usr/lib/jvm/java-6-openjdk 配置環(huán)境變量：
sudo gedit /etc/environment 在其中添加如下兩行：
CLASSPATH=./:/usr/lib/jvm/java-6-openjdk/lib JAVA_HOME=/usr/lib/jvm/java-6-openjdk PATH添加：:/usr/lib/jvm/java-6-openjdk
二、新增hadoop用戶
命令：sudo addgroup hadoop sudo adduser--ingroup hadoop hadoop sudo gedit etc/sudoers 添加配置：
在root ALL=(ALL)ALL后 hadoop ALL=(ALL)ALL使hadoop用戶具有root權(quán)限（id：查看用戶）
三、ssh配置
用hadoop賬戶進(jìn)行登錄。
安裝openssh-server：sudo apt-get install openssh-server 建立SSH KEY：ssh-keygen-t rsa-P “" 啟用SSH KEY：cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys sudo /etc/init.d/ssh reload 驗(yàn)證SSH的配置：ssh localhost
四、安裝hadoop并更改用戶所有權(quán)
wget http://mirror.bjtu.edu.cn/apache/hadoop/core/stable/hadoop-0.20.203.0rc1.tar.gz 我們采用的Hadoop版本是最新的Hadoop-0.20.2，可到Apache基金會(huì)官方主頁下載http://004km.cn/dyn/closer.cgi/hadoop/core,然后使用tar或直接解壓到/home/hadoop下，解壓后得到一個(gè)hadoop-0.20.2的一個(gè)文件夾。
安裝目錄：/usr/local/hadoop
更改所有權(quán)：chown-R hadoop:hadoop hadoop
五、配置hadoop(1)配置$HADOOP_HOME/conf/hadoop-env.sh 切換到Hadoop的安裝路徑找到hadoop-0.20.2下的conf/hadoop-env.sh文件 將：# export JAVA_HOME=/usr/lib/j2sdk1.5-sun 改為：export JAVA_HOME=/usr/lib/jvm/java-6-openjdk(2)配置$HADOOP_HOME/conf/core-site.xml 切換到Hadoop的安裝路徑找到hadoop-0.20.2下的conf/core-site.xml文件 Number of minutes between trash checkpoints.If zero, the trash feature is disabled --NameNode HTTP狀態(tài)監(jiān)視地址 --SecondaryNameNode HTTP狀態(tài)監(jiān)視地址 --每個(gè)job的map任務(wù)數(shù) --每一個(gè)tasktracker同時(shí)運(yùn)行的map任務(wù)數(shù)為2 --每一個(gè)tasktracker同時(shí)運(yùn)行的reduce任務(wù)數(shù)為4
六、格式化namenode 命令：bin/hadoop namenode-format
七、啟動(dòng)及驗(yàn)證
命令：./bin/start-all.sh 驗(yàn)證方法1：jps 驗(yàn)證方法2：bin/hadoop dfsadmin-report
八：運(yùn)行Wordcount 1.準(zhǔn)備工作
準(zhǔn)備兩個(gè)文本文件并拷貝到dfs里，具體命令操作如下： $ echo ”hello hadoop world.“ > /tmp/test_file1.txt $ echo ”hello world hadoop.i'm ceshiuser." > /tmp/test_file2.txt $ bin/hadoop dfs-mkdir test-in $ bin/hadoop dfs-copyFromLocal /tmp/test*.txt test-in--$ bin/hadoop dfs-put /tmp/test*.txt test-in--$ bin/hadoop dfs-copyToLocal test-out /tmp/test*.txt--$ bin/hadoop dfs-get test-out /tmp/test*.txt $ bin/hadoop dfs-ls test-in 2.運(yùn)行
$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount test-in test-out--% ln-s /home/hadoop/junyu-hadoop/hadoop-iflytek-tempcount.jar tempcount 3.查看結(jié)果
$ bin/hadoop dfs-ls test-out $ bin/hadoop dfs-cat test-out/part-r-00000 分布式部署：
一，修改/etc/hosts文件： 192.168.71.89 node0 192.168.77.213 node1
二，ssh配置
(1)使用scp 命令把生成的公鑰傳給其它服務(wù)器，并保存成不同的名字，如192.168.71.89-> 192.168.77.213，并且保存為89_id_rsa.pub 的時(shí)候命令如下：
scp id_rsa.pub hadoop@192.168.77.213:/home/hadoop/.ssh/89_id_rsa.pub(2)登錄192.168.77.213，可以遠(yuǎn)程登錄：ssh hadoop@192.168.77.213,進(jìn)入當(dāng)前用戶默認(rèn)目錄下的.ssh 目錄:cd ~/.ssh
(3)把公鑰內(nèi)容添加到登錄認(rèn)證文件中：cat 89_id_rsa.pub >> authorized_keys
(4)登錄到192.168.71.89 主機(jī)，使用ssh hadoop@192.168.77.213 進(jìn)行連接213 主機(jī)，這時(shí)候會(huì)出現(xiàn)輸入yes/no? 的提示，輸入yes。
三，配置hadoop文件。目錄：/usr/local/hadoop/conf/ conf/masters ：192.168.71.89 conf/slaves ：192.168.77.213
修改 core-site.xml 文件
修改 hdfs-site.xml 文件
1：
修改mapred-site.xml文件
點(diǎn)擊咨詢 