首頁(yè)技術(shù)文章正文

Hadoop安裝步驟講解,安裝目錄的內(nèi)容和作用是什么?

更新時(shí)間:2020-12-29 來(lái)源:黑馬程序員 瀏覽量:

1577370495235_學(xué)IT就到黑馬程序員.gif

  Hadoop是Apache基金會(huì)面向全球開源的產(chǎn)品之一,任何用戶都可以從Apache Hadoop 官網(wǎng):https://archive.apache.org/dist/hadoop/common下載使用。本書將以編寫時(shí)較為穩(wěn)定的Hadoop2.7.4版本為例,詳細(xì)講解Hadoop的安裝。

  先將下載的hadoop-2.7.4.tar.gz安裝包上傳到主節(jié)點(diǎn)hadoop01的/export/software/目錄下,然后將文件解壓到/export/servers/目錄,具體指令如下。

$ tar -zxvf hadoop-2.7.4.tar.gz -C /export/servers/

  執(zhí)行完上述指令后,同樣通過(guò)“vi /etc/profile”指令打開profile文件,在文件底部進(jìn)一步添加如下內(nèi)容類配置Hadoop環(huán)境變量。

# 配置Hadoop系統(tǒng)環(huán)境變量
export HADOOP_HOME=/export/servers/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  在/etc/profile文件中配置完上述Hadoop環(huán)境變量后(注意HADOOP_HOME路徑),保存退出即可。然后,還需要執(zhí)行“source /etc/profile”指令使可使配置文件生效。

  安裝完Hadoop并配置好環(huán)境變量后,可以在當(dāng)前主機(jī)任意目錄下查看安裝的Hadoop版本號(hào),具體指令如下。

$ hadoop version

  執(zhí)行完上述指令后,效果如圖1所示。

1609237753666_11.jpg

圖1 Hadoop版本號(hào)

  從圖1可以看出,當(dāng)前Haddoop版本就是指定的2.7.4,說(shuō)明Hadoop安裝成功。

  接下來(lái),可以在Hadoop解壓目錄下通過(guò)ll指令查看Hadoop目錄結(jié)構(gòu),如圖2所示。

1609237763008_12.jpg

  圖2 Hadoop安裝目錄結(jié)構(gòu)

  從圖2可以看出,Hadoop安裝目錄包括有bin、etc、include、lib、libexec、sbin、share和src共8個(gè)目錄以及其他一些文件,下面簡(jiǎn)單介紹下各目錄內(nèi)容及作用。

  bin:存放操作Hadoop相關(guān)服務(wù)(HDFS、Yarn)的腳本,但是通常使用sbin目錄下的腳本。

  etc:存放Hadoop配置文件,主要包含core-site.xml、hdfs-site.xml、mapred-site.xml等從Hadoop1.0繼承而來(lái)的配置文件和yarn-site.xml等Hadoop2.0新增的配置文件。

  include:對(duì)外提供的編程庫(kù)頭文件(具體動(dòng)態(tài)庫(kù)和靜態(tài)庫(kù)在lib目錄中),這些頭文件均是用C++定義的,通常用于C++程序訪問(wèn)HDFS或者編寫MapReduce程序。

  lib:該目錄包含了Hadoop對(duì)外提供的編程動(dòng)態(tài)庫(kù)和靜態(tài)庫(kù),與include目錄中的頭文件結(jié)合使用。

  libexec:各個(gè)服務(wù)對(duì)用的shell配置文件所在的目錄,可用于配置日志輸出、啟動(dòng)參數(shù)(比如JVM參數(shù))等基本信息。

  sbin:該目錄存放Hadoop管理腳本,主要包含HDFS和YARN中各類服務(wù)的啟動(dòng)/關(guān)閉腳本。

  share:Hadoop各個(gè)模塊編譯后的jar包所在的目錄。

  src:Hadoop的源碼包。


猜你喜歡:

Hadoop與Spark的區(qū)別有哪些?【大數(shù)據(jù)培訓(xùn)】

實(shí)時(shí)計(jì)算Spark Streaming工作原理是什么?

Hadoop虛擬機(jī)怎樣遠(yuǎn)程登錄和開啟SSH免密登錄功能?

黑馬程序員大數(shù)據(jù)培訓(xùn)課程 

分享到:
在線咨詢 我要報(bào)名
和我們?cè)诰€交談!