一区二区三区在线-一区二区三区亚洲视频-一区二区三区亚洲-一区二区三区午夜-一区二区三区四区在线视频-一区二区三区四区在线免费观看

服務(wù)器之家:專注于服務(wù)器技術(shù)及軟件下載分享
分類導(dǎo)航

PHP教程|ASP.NET教程|Java教程|ASP教程|編程技術(shù)|正則表達(dá)式|C/C++|IOS|C#|Swift|Android|VB|R語言|JavaScript|易語言|vb.net|

服務(wù)器之家 - 編程語言 - Java教程 - hadoop 單機(jī)安裝配置教程

hadoop 單機(jī)安裝配置教程

2021-01-18 09:59Java教程網(wǎng) Java教程

單機(jī)安裝主要用于程序邏輯調(diào)試。安裝步驟基本通分布式安裝,包括環(huán)境變量,主要Hadoop配置文件,SSH配置等,需要的朋友可以參考下

單機(jī)安裝主要用于程序邏輯調(diào)試。安裝步驟基本通分布式安裝,包括環(huán)境變量,主要Hadoop配置文件,SSH配置等。主要的區(qū)別在于配置文件:slaves配置需要修改,另外如果分布式安裝中dfs.replication大于1,需要修改為1,因?yàn)橹挥?個datanode.
分布式安裝請參考:
http://acooly.iteye.com/blog/1179828
單機(jī)安裝中,使用一臺機(jī)器,即做namenode和JobTracker也是datanode和TaskTracker,當(dāng)然也是SecondaryNameNode。
主要配置文件core-site.xml,hdfs-site.xml,mapred-site.xml,masters完全同分布樹安裝配置,如果分布式安裝配置方案中hdfs-site.xml的副本數(shù)量定義大于1,則修改為1.

復(fù)制代碼 代碼如下:


<property>
<name>dfs.replication</name>
<value>1</value>
</property>


主要不同在于slaves的配置,分布式安裝中是多個其他機(jī)器作為datanode,單機(jī)模式本機(jī)是datanode,所以修改slaves配置文件為本機(jī)的域名。如:本機(jī)機(jī)器名為hadoop11,則:
[hadoop@hadoop11 ~]$ cat hadoop/conf/slaves
hadoop11
完成配置后,啟動:

復(fù)制代碼 代碼如下:


$ start-all.sh
$ jps
15556 Jps
15111 JobTracker
15258 TaskTracker
15014 SecondaryNameNode
14861 DataNode
14712 NameNode


運(yùn)行DEMO
$ echo word1 word2 word2 word3 word3 word3 > words
$ cat words
word1 word2 word2 word3 word3 word3
$ hadoop dfsadmin -safemode leave
$ hadoop fs -copyFromLocal words /single/input/words
$ hadoop fs -cat /single/input/words
12/02/17 19:47:44 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
word1 word2 word2 word3 word3 word3
$ hadoop jar hadoop-0.21.0/hadoop-mapred-examples-0.21.0.jar wordcount /single/input /single/output
......
$ hadoop fs -ls /single/output
......
-rw-r--r-- 1 hadoop supergroup 0 2012-02-17 19:50 /single/output/_SUCCESS
-rw-r--r-- 1 hadoop supergroup 24 2012-02-17 19:50 /single/output/part-r-00000
$ hadoop fs -cat /single/output/part-r-00000
......
word1 1
word2 2
word3 3

延伸 · 閱讀

精彩推薦
主站蜘蛛池模板: 亚洲邪恶天堂影院在线观看 | 日本视频免费在线观看 | 成人精品亚洲 | 久久香蕉电影 | 国内精品免费 | 五月天国产精品 | 黑人巨大和日本娇小中出 | 日韩免费视频播播 | 8x8拨擦拨擦华人免费 | 99久久精品免费精品国产 | 国色天香 社区视频 | 91嫩草私人成人亚洲影院 | 91大片淫黄大片在线天堂 | 日韩欧美国产一区 | 我的漂亮朋友在线观看全集免费 | 69老司机亚洲精品一区 | 国产成人亚洲综合91精品555 | 校园刺激全黄H全肉细节文 校草让我脱了内裤给全班看 | 亚洲久草在线 | 国士李风起全文在线阅读 | 国产午夜亚洲精品不卡 | 国产成人在线视频播放 | a一区二区三区视频 | 国产在线精品观看 | 国模人体aⅴ| 免费观看欧美性一级 | 丝瓜秋葵番茄绿巨人在线观看 | 国内永久第一免费福利视频 | 人人人人看人人人做人人 | 日本888xxxx| 95视频在线观看在线分类h片 | 国产精品刺激好大好爽视频 | 亚洲社区在线观看 | 免费一级欧美片在线观看 | 貂蝉沦为姓奴小说 | chinese456老人gay china外卖员gay国产xnxx | jj视频免费观看 | 精品无码久久久久久久久 | 色戒西瓜 | 2022最新a精品视频在线观看 | 日产精品卡一卡2卡三卡乱码工厂 |