• centos7部署elk日志系统


    一、创建Elk目录,下载软件压缩包

    登录系统后,进入opt目录,创建Elk文件夹

    [root@localhost opt]# cd /opt/
    [root@localhost opt]# mkdir ElK

    下载软件包

    #node.js
    wget https://nodejs.org/dist/v14.16.1/node-v14.16.1-linux-x64.tar.xz
    
    #jdk10
    wget https://repo.huaweicloud.com/java/jdk/10.0.1+10/jdk-10.0.1_linux-x64_bin.tar.gz
    
    #elasearch
    wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.12.0-linux-x86_64.tar.gz
    
    #logstash
    wget https://artifacts.elastic.co/downloads/logstash/logstash-7.12.0-linux-x86_64.tar.gz
    
    #kibana
    wget https://artifacts.elastic.co/downloads/kibana/kibana-7.12.0-linux-x86_64.tar.gz

    二、安装node和jdk
    解压上面下载的压缩包,命令如下:

    tar -xvf  node-v14.16.1-linux-x64.tar.xz
    tar -zxvf jdk-10.0.1_linux-x64_bin.tar.gz

    解压完成后可以看到 “node-v14.16.1-linux-x64” 和 “jdk-10.0.1” 两个文件夹,移动node到ElK文件夹下,

    mv node-v14.16.1-linux-x64 ./ElK

    配置jdk和node的系统PATH

    vim /etc/profile
    #java
    export JAVA_HOME=/opt/jdk1.8.0_181
    export PATH=$JAVA_HOME/bin:$PATH
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib
    
    #nodejs
    export NODE_HOME=/opt/ElK/node-v14.16.1-linux-x64
    export PATH=$PATH:$NODE_HOME/bin

    保存退出后,执行: source /etc/profile 重新加载系统文件。验证是否成功:

    [root@localhost ElK]# node -v
    v14.16.1
    [root@localhost ElK]# java -version
    java version "10.0.1" 2018-04-17
    Java(TM) SE Runtime Environment 18.3 (build 10.0.1+10)
    Java HotSpot(TM) 64-Bit Server VM 18.3 (build 10.0.1+10, mixed mode)

    出现上面输出说明node和jdk配置成功了。

    三、安装elasearch

    1.解压压缩包,把解压之后的文件移动到ElK目录下。

    tar -zxvf elasticsearch-7.12.0-linux-x86_64.tar.gz
    mv elasticsearch-7.12.0 ./ElK

    2.编辑配置文件 config/elasticsearch.yml。

    #打开以下配置并修改
    cluster.name: myelasearch
    network.host: 0.0.0.0  #用于外部访问
    http.port: 9200
    node.name: node-1
    cluster.initial_master_nodes: ["node-1"]
    
    #文件结尾添加
    http.cors.enabled: true
    http.cors.allow-origin: "*"

    3.修改系统配置文件sysctl.conf,修改完记得重启系统!!!

    vi /etc/security/limits.conf
    #在文件末尾添加:
    * soft nofile 65535
    * hard nofile 65535
    sudo vi /etc/sysctl.conf
    #在文件末尾添加:
    vm.max_map_count=262144
    reboot #重启系统 
    ulimit -n    #查看修改情况

    4.elasticsearch在centos系统下不允许已root用户启动,所以我们创建一个新的用户“elasticsearch”。

    #创建用户
    adduser elasticsearch
    #密码随便输入
    passwd elasticsearch
    #给文件夹赋予用户权限
    chown -R elasticsearch /opt/
    切换用户
    su elasticsearch

    5.启动elasticsearch

    #显示启动过程
    ./bin/elasticsearch
    #后台启动
    ./bin/elasticsearch -d    后台启动

    第一次我选择的显示启动过程,启动成功后,重新打开一个窗口,看到以下返回说明elasticsearch 启动成功了,然后 “Ctrl +c”停用服务,改用后台启动。

    [root@localhost config]# curl 127.0.0.1:9200
    {
      "name" : "node-1",
      "cluster_name" : "myelasearch",
      "cluster_uuid" : "8t26YSY_Tly36t8EsdswmA",
      "version" : {
        "number" : "7.12.0",
        "build_flavor" : "default",
        "build_type" : "tar",
        "build_hash" : "78722783c38caa25a70982b5b042074cde5d3b3a",
        "build_date" : "2021-03-18T06:17:15.410153305Z",
        "build_snapshot" : false,
        "lucene_version" : "8.8.0",
        "minimum_wire_compatibility_version" : "6.8.0",
        "minimum_index_compatibility_version" : "6.0.0-beta1"
      },
      "tagline" : "You Know, for Search"
    }
    [root@localhost config]#

     想要停止服务时,输入 “ps -ef | grep elasticsearch”,然后 kill 对应的进程id。

    [root@localhost logs]# ps -ef | grep elasticsearch
    root      1785  1743  0 14:53 pts/0    00:00:00 su elasticsearch
    elastic+  1930     1  3 14:54 pts/0    00:05:12 /opt/jdk-10.0.1/bin/java -Xshare:auto -Des.networkaddress.cache.ttl=60 -Des.networkaddress.cache.negative.ttl=10 -XX:+AlwaysPreTouch -Xss1m -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djna.nosys=true -XX:-OmitStackTraceInFastThrow -Dio.netty.noUnsafe=true -Dio.netty.noKeySetOptimization=true -Dio.netty.recycler.maxCapacityPerThread=0 -Dio.netty.allocator.numDirectArenas=0 -Dlog4j.shutdownHookEnabled=false -Dlog4j2.disable.jmx=true -Djava.locale.providers=SPI,COMPAT --add-opens=java.base/java.io=ALL-UNNAMED -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -Djava.io.tmpdir=/tmp/elasticsearch-2768486000531970052 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=data -XX:ErrorFile=logs/hs_err_pid%p.log -Xlog:gc*,gc+age=trace,safepoint:file=logs/gc.log:utctime,pid,tags:filecount=32,filesize=64m -Xms1024m -Xmx1024m -XX:MaxDirectMemorySize=536870912 -Des.path.home=/opt/ElK/elasticsearch-7.12.0 -Des.path.conf=/opt/ElK/elasticsearch-7.12.0/config -Des.distribution.flavor=default -Des.distribution.type=tar -Des.bundled_jdk=true -cp /opt/ElK/elasticsearch-7.12.0/lib/* org.elasticsearch.bootstrap.Elasticsearch -d
    elastic+  1945  1930  0 14:54 pts/0    00:00:00 /opt/ElK/elasticsearch-7.12.0/modules/x-pack-ml/platform/linux-x86_64/bin/controller
    root      2857  1764  0 17:20 pts/1    00:00:00 grep --color=auto elasticsearch
    [root@localhost logs]# kill 1930

    重启服务可能遇到的问题:TOO_MANY_REQUESTS/12/disk usage exceeded flood-stage watermark, index has read-only-allow-delete block,可以参考下面配置。

    关键的参数cluster.routing.allocation.disk.threshold_enabled

    (es可以根据磁盘使用情况来决定是否继续分配shard。默认设置是开启的).

    为了在本地单机上测试,我自己电脑磁盘空间剩下没多少了,修改elasticsearch.yml,设置cluster.routing.allocation.disk.threshold_enabled: false。

    如果后续虚拟机磁盘空间不够,启动失败了可以删除了data,logs里的文件。

    四、安装logstash

    解压压缩包,把解压之后的文件移动到ElK目录下,编辑配置文件config/logstash.yml

    #打开并修改以下配置,用于外部访问
    http.host: 0.0.0.0

    在bin目录下创建 logstash.conf 文件,并写入下面代码,保存退出。

    input {
      file {
            path => ["/opt/logs/*.log"]
            codec => json {
                    charset => "UTF-8"
            }
     }
    }
    
    output {
      elasticsearch {
        hosts => ["http://127.0.0.1:9200"]
        index => "ceshi-%{+YYYY.MM.dd}"
        #user => "elastic"
        #password => "changeme"
      }
    }

    下面两种方式选一种启动logstash。

    ./bin/logstash -f ./bin/logstash.conf    #显示执行过程
    nohup ./bin/logstash -f ./bin/logstash.conf &    #后台执行

    启动成功后,验证:

    [root@localhost bin]# curl 127.0.0.1:9600
    {"host":"localhost.localdomain","version":"7.12.0","http_address":"0.0.0.0:9600","id":"d562e790-449c-471a-a85f-0beaf4744866","name":"localhost.localdomain","ephemeral_id":"520d56fa-bdd1-438b-a3ff-8afe292f55fe","status":"green","snapshot":false,"pipeline":{"workers":1,"batch_size":125,"batch_delay":50},"build_date":"2021-03-18T05:13:33Z","build_sha":"4399d72a9afe6f06db8adbaad8030e5b111e86b6","build_snapshot":false}[root@localhost bin]#

    如果看到上面输出,说明成功了。

    五.安装kibana

    解压压缩包,把解压之后的文件移动到ElK目录下,编辑配置文件config/kibana.yml。

    #端口
    server.port: 5601
    #外部访问
    server.host: "0.0.0.0"
    #调整为中文
    i18n.locale: "zh-CN"

    选择一种方式启动kibana。

    #显示过程启动
    ./bin/kibana
    #后台启动
    nohup ./bin/kibana

    启动成功后,用windows宿主机访问虚拟机ip+5601 访问kibana。出现下面界面启动成功。

    六、创建索引模式

    在上面logstash配置文件(logstash.conf)中path目录下创建一个日志文件,随便输入一些内容。

    [root@localhost logs]# cd /opt/logs
    [root@localhost logs]# vim test.log
    [root@localhost logs]# 

    点击“创建索引模式”,创建索引。

     成功后点击左侧“Discover”,进入搜索界面,ELK日志系统搭建完成。

    netstat -lnp | grep 5601 查看端口占用情况。

    kill -9 端口号 中断进程。

  • 相关阅读:
    【转】动态模型及其求解介绍–番外篇
    【转】动态模型及其求解介绍—下
    Belief propagation
    隐马尔科夫模型(Hidden Markov Models) 系列之一
    隐马尔科夫模型(Hidden Markov Models) 系列之四
    【PGM】factor graph,因子图,势函数potential function,Template models
    词语搭配系统
    PHP Catalan数的几个应用
    PHP 求链表并集
    PHP 输入n,判断从1~n序列中十进制数里1出现的次数
  • 原文地址:https://www.cnblogs.com/wjs2019/p/14690727.html
Copyright © 2020-2023  润新知