一区二区三区在线-一区二区三区亚洲视频-一区二区三区亚洲-一区二区三区午夜-一区二区三区四区在线视频-一区二区三区四区在线免费观看

服務(wù)器之家:專注于服務(wù)器技術(shù)及軟件下載分享
分類導(dǎo)航

PHP教程|ASP.NET教程|JAVA教程|ASP教程|

服務(wù)器之家 - 編程語言 - JAVA教程 - java連接hdfs ha和調(diào)用mapreduce jar示例

java連接hdfs ha和調(diào)用mapreduce jar示例

2019-11-16 14:10java教程網(wǎng) JAVA教程

這篇文章主要介紹了Java API連接HDFS HA和調(diào)用MapReduce jar包,需要的朋友可以參考下

Java API 連接 HDFS HA 

復(fù)制代碼代碼如下:

public static void main(String[] args) {
  Configuration conf = new Configuration();
  conf.set("fs.defaultFS", "hdfs://hadoop2cluster");
  conf.set("dfs.nameservices", "hadoop2cluster");
  conf.set("dfs.ha.namenodes.hadoop2cluster", "nn1,nn2");
  conf.set("dfs.namenode.rpc-address.hadoop2cluster.nn1", "10.0.1.165:8020");
  conf.set("dfs.namenode.rpc-address.hadoop2cluster.nn2", "10.0.1.166:8020");
  conf.set("dfs.client.failover.proxy.provider.hadoop2cluster",        "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");
  FileSystem fs = null;
  try {
     fs = FileSystem.get(conf);
     FileStatus[] list = fs.listStatus(new Path("/"));
     for (FileStatus file : list) {
       System.out.println(file.getPath().getName());
      }
  } catch (IOException e) {
     e.printStackTrace();
  } finally{
      try {
        fs.close();
      } catch (IOException e) {
        e.printStackTrace();
      }
  }
}

 

Java API調(diào)用MapReduce程序

 

復(fù)制代碼代碼如下:

String[] args = new String[24];
args[0] = “/usr/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar";
args[1] = "wordcount";
args[2] = "-D";
args[3] = "yarn.resourcemanager.address=10.0.1.165:8032";
args[4] = "-D";
args[5] = "yarn.resourcemanager.scheduler.address=10.0.1.165:8030";
args[6] = "-D";
args[7] = "fs.defaultFS=hdfs://hadoop2cluster/";
args[8] = "-D";
args[9] = "dfs.nameservices=hadoop2cluster";
args[10] = "-D";
args[11] = "dfs.ha.namenodes.hadoop2cluster=nn1,nn2";
args[12] = "-D";
args[13] = "dfs.namenode.rpc-address.hadoop2cluster.nn1=10.0.1.165:8020";
args[14] = "-D";
args[15] = "dfs.namenode.rpc-address.hadoop2cluster.nn2=10.0.1.166:8020";
args[16] = "-D";
args[17] = "dfs.client.failover.proxy.provider.hadoop2cluster=org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider";
args[18] = "-D";
args[19] = "fs.hdfs.impl=org.apache.hadoop.hdfs.DistributedFileSystem";
args[20] = "-D";
args[21] = "mapreduce.framework.name=yarn";
args[22] = "/input";
args[23] = "/out01";
RunJar.main(args);

延伸 · 閱讀

精彩推薦
主站蜘蛛池模板: 国产区成人精品视频 | 手机在线观看国产精选免费 | re99热| 四虎精品成人免费观看 | 猛h辣h高h文湿校园1v1 | s0e一923春菜花在线播放 | 半挠脚心半黄的网站 | 国产精品思瑞在线观看 | 嫩草研究| 久见久热 这里只有精品 | 欧美视频免费 | 桃色公寓 | 日本性生活免费看 | 大团圆6全文在线阅读 | 夫妻性生活影院 | 好姑娘在线完整版视频 | 美女脱了内裤张开腿亲吻男生 | 亚洲色图网址 | 4hc44四虎www在线影院男同 | 亚洲精品一区制服丝袜 | 成人资源在线观看 | 邪恶肉肉全彩色无遮盖 | 国产免费专区 | 91sao在线看片水片 | 国产成人福利免费视频 | 精品99在线观看 | 日本黄a | 国产亚洲精品91 | 99久久一区二区精品 | avtt在线播放 | 美女在尿口隐私视频 | 三级理论在线播放大全 | 91麻豆精品国产自产在线观看 | 忘忧草秋观看未满十八 | 91美女在线 | 丝袜白浆 | 女海盗斯蒂内塔的复仇2免费观看 | 日韩欧美一区黑人vs日本人 | 国产欧美另类 | 波多野结衣不卡 | 色狠狠婷婷97 |