• 使用Vagrant搭建Hadoop集群踩过的坑


    最近使用Vagrant搭建了一个有3台主机的Hadoop集群,使用的是Cloudera Manager来管理,最初在我的笔记本上虚拟了4台主机,一台最为cloudera Manager Server,其他几台运行cloudera Manager Agent,在本机运行正常后,发现内存占用太厉害,我打算迁移两台运行Agent的到另外一台工作电脑,于是使用Vagant Package打包,并在另外一台机器上Vagrant Box Add和Vagrant up,启动后,登录cloudera manager管理界面查看,结果发现迁移的两台主机找不到,而不停的刷新页面的话,显示是原来运行Agent的三台机器,除vm-cluster-node1外,另外一个主机刷新一次便在node2,node3和node4之间轮流出现,而不能4台机器同时出现,初步怀疑是因为用node1进行的package,所以agent已经包含为node1的agent配置信息。

    于是我运行一下脚本将node3和node4中的agent service都删除了

    1 sudo /usr/sbin/service cloudera-scm-agent hard_stop_confirmed
    2 sudo apt-get purge 'cloudera-manager-*'
    3 sudo apt-get clean 

    然后从cloudera manager管理界面重新加入node3和node4,在加入之前,我又把清理掉agent的机器又从新package,希望能以后重复利用

    重新加入的过程又很漫长,得下载400多M的manager agent包,能有朋友遇到同样问题吗?如何能够不卸载包,只修改配置使迁移成功??

  • 相关阅读:
    Linux学习--------二
    Linux学习--------一
    PHP的回调函数
    妙用PHP函数处理数组
    MySQL错误码大全
    godoc使用方法介绍
    JS处理数据四舍五入(tofixed与round的区别详解)
    laravel手动数组分页
    PhpStorm+Xdebug配置单步调试PHP
    设计函数时,要考虑的因素
  • 原文地址:https://www.cnblogs.com/gujingshui/p/4153403.html
Copyright © 2020-2023  润新知