您现在的位置: 爱51代码网 >> 范文 >> 文章正文
hadoop distcp源集群如何识别目标集群名所对应的ip和host

mycluster是源hdfs,cluster2是目标hdfs,我想要从mycluster把tmp目录下的文件复制到cluster2下

hadoop distcp hftp://mycluster/tmp hdfs://cluster2/tmp

此命令在mycluster的namenode下执行,通过本地hadoop的配置defaultFS可以识别到mycluster对应的ip主机,但是没有cluster2的配置,要如何知道cluster2对应的是哪些ip或主机呢?
cluster2应该是另一个集群中的namenode,只要在mycluster所在主机的hosts中配置cluster2及其对应的ip地址就行了
mycluster 和 cluster2 都是NameNode吧

<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>machine1.example.com:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>machine2.example.com:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>machine1.example.com:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>machine2.example.com:50070</value>
</property>

hadoop distcp hdfs://nn1:8020/src  hdfs://nn2:8020/dest

  • 上一篇文章:

  • 下一篇文章: 没有了
  • 最新文章 热点文章 相关文章
    Hadoop2.2.0在eclipse控制台没有
    maven如何加自定义的包
    redhat 2.6 (santigo 5.6) vsftp
    shell如何实现自动填写操作执行下
    linux shell 文件配置sh:color:
    shell script语法一定要加path吗
    SecureCRT如何访问虚拟机vmWare中
    C#如何读取WINDOWS的放大系数
    cximge的图如何存入数据库并提取
    DBGRID控件显示查询结果文本类型
    maven如何加自定义的包
    redhat 2.6 (santigo 5.6) vsftp
    shell如何实现自动填写操作执行下
    linux shell 文件配置sh:color:
    shell script语法一定要加path吗
    SecureCRT如何访问虚拟机vmWare中
    C#如何读取WINDOWS的放大系数
    cximge的图如何存入数据库并提取
    DBGRID控件显示查询结果文本类型
    TChart控件如何把表中右边的系列
    Hadoop2.2.0在eclipse控制台
    windows客户端如何访问hdfs
    yarn.scheduler.fair.locali
    asp中的access年度成绩查询排
    access如何用SQL语句查询时间
    sqlserver数据库刚启动 客户
    RESTORE FILELIST 操作异常终
    SQL Incorrect syntax near 
    TIMESTAMP with implicit DE
    refoX x能加密vfp9.0编译的e
     



    设为首页 | 加入收藏 | 网站地图 | 友情链接 |