• Ubuntu 14.10 下安装Ganglia监控集群


      关于 Ganglia 软件,Ganglia是一个跨平台可扩展的,高性能计算系统下的分布式监控系统,如集群和网格。它是基于分层设计,它使用广泛的技术,如XML数据代表,便携数据传输,RRDtool用于数据存储和可视化。它利用精心设计的数据结构和算法实现每节点间并发非常低的。

      它已移植到广泛的操作系统和处理器架构上,目前在世界各地成千上万的集群正在使用。它已 被用来连结大学校园和世界各地,可以处理2000节点的规模。

    1 环境

      系统:Ubuntu 14.10

      Hadoop:2.5.0

      Spark:1.2.0

      机器分布

    机器名 IP地址 角色
    master 192.168.1.100 namenode,master
    slave1 192.168.1.101 datenode,worker
    slave2 192.168.1.103 datenode,worker

    2 Ganglia安装

      2.1 主节点配置

        2.1.1 安装ganglia-monitor ganglia-webfrontend gmetad,同时会将依赖的软件安装,包括apache和php

    sudo apt-get install ganglia-monitor ganglia-webfrontend gmetad

        如果自己手动安装依赖的软件,可以执行如下命令

    sudo apt-get install rrdtool apache2 php5

        2.1.2 复制 Ganglia webfrontend Apache 配置

    sudo cp /etc/ganglia-webfrontend/apache.conf /etc/apache2/sites-enabled/ganglia.conf

        2.1.3 编辑 Ganglia 元守护程序的配置文件

    sudo nano /etc/ganglia/gmetad.conf

    更改如下位置:

    data_source "my cluster" localhost

    修改为:

    data_source "spark" master,slave1,slave2

    其中spark要与下面配置的cluster.name保持一致,master,slave1,slave2是要监控的主机

    同时,可设置多个data_source,建议将不同功能的机器放到不同的分组中。。。。例如

    data_source "master" master:8649

    data_source "worker" slave1:8650, slave2:8650

    这里,不同分组要用不同的端口号!!

        2.1.4 编辑主节点的配置文件

    sudo nano /etc/ganglia/gmond.conf

    做下面的变化:

    cluster {
    name = "spark"
    owner = "unspecified"
    latlong = "unspecified"
    url = "unspecified"
    }

    /* Feel free to specify as many udp_send_channels as you like. Gmond
    used to only support having a single channel */
    udp_send_channel {
    mcast_join = 239.2.11.71
    port = 8649
    ttl = 1
    }

    /* You can specify as many udp_recv_channels as you like as well. */
    udp_recv_channel {
    mcast_join = 239.2.11.71
    port = 8649
    bind = 239.2.11.71

    }

    其中data_source分组与端口号要保持一直

    保存并关闭文件。

    需要重启服务:

    sudo /etc/init.d/ganglia-monitor start
    sudo /etc/init.d/gmetad start
    sudo /etc/init.d/apache2 restart

      2.2 客户机配置

        2.2.1 安装以下所有服务器要监视客户端包

    sudo apt-get install ganglia-monitor

        2.2.2 编辑客户节点的配置文件gmond.conf,这里和主节点的一致就行,但是如果有多个分组,那个分组名要和端口号保持一致

        2.2.3 重启 ganglia monitor 服务

    sudo /etc/init.d/ganglia-monitor restart

    3 网页端查看http://master/ganglia/

    参考:

    http://sofar.blog.51cto.com/353572/1367205/

    http://slaytanic.blog.51cto.com/2057708/808981

  • 相关阅读:
    Apollo与ROS
    QT windeployqt
    自定义QGraphicsItem
    ROS与C++
    aptitude与apt-get
    解决tcp粘包问题
    网络中两台主机通信
    I/O多路复用之select、poll、epoll
    Nginx命令行控制
    C++11
  • 原文地址:https://www.cnblogs.com/liuchangchun/p/4576435.html
Copyright © 2020-2023  润新知