• Hadoop学习5--配置本地开发环境(Windows+Eclipse)


    一、导入hadoop插件到eclipse

    插件名称:hadoop-eclipse-plugin-2.7.0.jar

    我是从网上下载的,还可以自己编译。

    放到eclipse安装目录下的plugins文件夹

    tip:

    1、竟然没有plugins文件夹,自己在安装目录下新建了个文件夹

    2、重启eclipse后,一直无法看到网上描述的结果,于是删除了eclipse安装目录下的这个文件:platform.xml(去安装目录下全局搜索),再次重启,ok。

    重启eclipse->window->Preferences:

    右侧路径是你本地的hadoop安装路径。

    二、配置Map/Reduce Locations

    Window->Show View->Others->MapReduce Tools-> Map/Reduce Locations->OK

    这时选项卡已经打开了,在主界面里找找吧

    打开选项卡后,右上方有个小图标(我这里是蓝色的小象顶着一个加号,够隐蔽),弹出新窗口,进行配置:

    其中,Host使用你的hadoop集群主机ip

    前一个Port使用mapred-site.xml的mapred.job.tracker配置(没有这个配置就加上)

    后一个Port使用core-site.xml的fs.default.name配置(没有加上)

    按网上教程,说是保存后,Project Explorer窗口应该出现配置好的HDFS,鉴于本人对java开发工具的不熟悉,研究了好一会,才从Eclipse右上方的Open perspectivet小图标下的Map/Reduce..点进去,如下图:

    成功后,左侧菜单的Project Explorer里,出现了DFS Locations

    三、我遇到的问题

    1、提示无法连接到集群服务器的某一个端口

    其实这里有个一个非常简单的验证方法,在本机(windows)cmd测试端口开通情况

    telnet 你配置的ip 8020

    telnet 你配置的ip 9001

    我的解决方法是,确保集群的namenode和datanode都正常启动,则解决上述问题。

    (其实这个真的不是必须的,到现在我的8020端口也是telnet不通的,在这个问题上纠结了太长时间)

    如果能通(进入一个什么都没有的页面),则配置正确。

    2、依然报错,

    Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: "USER-20140422SO/192.168.6.33"; destination host is: "h201":9001; 

    类似于上面的错误信息,各种查找也没找到原因

    也是各种查证吧,仅限的几个回复也是说的很笼统,没办法只能自己各种尝试。

    后来我又建立了个Map/Reduce Locations,唯一不通的是name和端口,其中端口和前一个是正好相反的配置,发现了一个有趣的问题,DFS Locations区域内的文件夹,看教程都在后面有个括号,里面有数字,代表文件数。而我的一直是(0),一开始一直以为是有问题的,于是就把精力放在前面那个明确报错的Map/Reduce Locations实例的解决上,于是乎,两个下午就这么流失了。。。山穷水尽的时候,放弃了这条路,想着,暂时就不使用eclipse远程连接使用了,我手动打代码,编译,然后不也就能看下真正的hadoop执行效果了吗?

    接下来,发生了不可思议的事情。。。

    在hadoop fs下创建了文件夹后,无意中在eclipse里那个(0)文件夹上刷新了一下,文!件!出!现!了!

    小总结:看来原来的路走的就不对,这个配置本来不是什么难事,因为之前一路走来,很费劲,就想当然的把这个当成个容易出错的大工程了。

    至此,Eclipse配置远程连接集群,结束。

  • 相关阅读:
    2018 ACM-ICPC World Finals Problem D. Gem Island(递推)
    2016-2017 ACM-ICPC Northeastern European Regional Contest Problem C. Cactus Construction(仙人掌+构造)
    JZOJ 6997. 2021.03.06【2021省赛模拟】排列(最小树形图)
    JZOJ 6653. 【2020.05.27省选模拟】树(权值线段树)
    JZOJ 6652. 【2020.05.27省选模拟】序列(贪心+序列翻转)
    JZOJ 6979. 【2021.02.03冬令营模拟】天各一方(DP)
    MyBatisPlus使用Version注解(乐观锁)
    并行库parallelStream设置并行数量
    PHPUnit漏洞复现
    使用云函数隐藏C2服务器
  • 原文地址:https://www.cnblogs.com/xyang/p/4914727.html
Copyright © 2020-2023  润新知