导入hdfs数据的时候提示java.net.UnknownHostException

[liuzx32]

10106 | table2_20170710 | CANCELLED | ETL:N/A; LOAD:N/A | N/A | cluster:N/A; timeout(s):3600; max_filter_ratio:0.1 | type:ETL_SUBMIT_FAIL; msg:create job request fail. Broker list path failed.path=hdfs://c3prc-hadoop:8020/user/h_miui_ad/bi/palo_test/table2_data,broker=TNetworkAddress(hostname:10.136.138.54, port:8000),msg=java.lang.IllegalArgumentException: java.net.UnknownHostException: c3prc-hadoop | 2017-09-13 15:26:09 | N/A | N/A | N/A | 2017-09-13 15:26:10 | N/A |

[liuzx32]

hdfs://c3prc-hadoop:8020/user/h_miui_ad/bi/palo_test/table2_data是hdfs的文件路径，公司内部都是通过集群的方式来访问hdfs文件的，通过hadoop相关命令是可以读取到数据的，但是在Palo上通过broker导入数据的时候，提示java.net.UnknownHostException

[imay]

你能在10.136.138.54这个broker上ping c3prc-hadoop这个hostname么？

[liuzx32]

咨询了一下公司内部，c3prc-hadoop是hadoop集群的逻辑名称，不是hostname，因为hadoop集群有两个namenode，可能会互相切换；还有就是公司内部的namenode本身也是会换到别的域名机器上的；所以访问hdfs不推荐直接使用域名的方式访问了。

[liuzx32]

百度内部应该也有类似的问题吧；
hdfs文件路径hdfs://c3prc-hadoop:8020/user/h_miui_ad/bi/palo_test/table2_data是可以访问的，但是c3prc-hadoop是集群的逻辑名称，不是具体的host域名；遇到这样的问题Palo该如何解决？

[imay]

这样的话，可能就需要使用你们公司提供的Hadoop client自己编译一下broker了。这样应该就能正常用逻辑名称访问了

[liuzx32]

我们也有在使用druid了，参考了druid加载hdfs文件的方式，不需要hdfs://hdfs_host:port/这些的前缀；只是基于企业安装环境对应的相对路径/user/h_miui_ad/bi/palo_test/table2_data，就可以完成数据的加载。

[liuzx32]

| 10109 | table2_20170712 | CANCELLED | ETL:N/A; LOAD:N/A | N/A | cluster:N/A; timeout(s):3600; max_filter_ratio:0.1 | type:ETL_SUBMIT_FAIL; msg:create job request fail. Broker list path failed.path=/user/h_miui_ad/bi/palo_test/table2_data,broker=TNetworkAddress(hostname:10.136.138.54, port:8000),msg=java.lang.IllegalArgumentException: java.net.UnknownHostException: null | 2017-09-13 16:43:24 | N/A | N/A | N/A | 2017-09-13 16:43:25 | N/A |

[liuzx32]

| 10108 | table2_20170711 | CANCELLED | ETL:N/A; LOAD:N/A | N/A | cluster:N/A; timeout(s):3600; max_filter_ratio:0.1 | type:ETL_SUBMIT_FAIL; msg:create job request fail. Broker list path failed.path=hdfs://c3-hadoop-prc-ct26.bj:11200/user/h_miui_ad/bi/palo_test/table2_data,broker=TNetworkAddress(hostname:10.136.138.54, port:8000),msg=unknown error when get file status | 2017-09-13 16:27:07 | N/A | N/A | N/A | 2017-09-13 16:27:10 | N/A |

[liuzx32]

换成具体的hdfs_host以后，提示msg:create job request fail；unknown error when get file status；文档中关于broker的资料不是很多，就只好在这里请教了。

[zjfGit]

使用infra-client， --cluster c3/zjy 指定集群

[wuyunfeng]

@liuzx32 c3prc-hadoop 这个应该是你们的nameservice id，是开启了HA的HDFS，我们的broker支持HDFS HA方式

[wuyunfeng]

@liuzx32

我们也有在使用druid了，参考了druid加载hdfs文件的方式，不需要hdfs://hdfs_host:port/这些的前缀；只是基于企业安装环境对应的相对路径/user/h_miui_ad/bi/palo_test/table2_data

需要告诉broker你的nameservice id，两个nn的地址即可

[wuyunfeng]

通过help load命令可以看到怎么使用