• ElasticSearch+Kibana安装部署


      在安装ElasticSearch时遇到了很多坑,所以在这里做个笔记记录一下。

      首先我考虑的是使用docker进行部署,结果发现虚拟机直接内存溢出,我也是无解了,也就是说使用docker部署还得注意容器的资源分配调度,于是便放弃了。

      

      ElasticSearch安装

      ElasticSearch下载地址:https://www.elastic.co/cn/downloads/elasticsearch

      很多人下载的是rpm包安装,这里我下载的linux的已经编译好的包,直接配置启动就行了,因为它自带了JDK等环境:

      

       

      下载后,使用tar命令解压,然后使用bin/elasticsearch启动即可,比如我这里下载的是7.12.0版本:  

        # 解压
        tar -zxf elasticsearch-7.12.0-linux-x86_64.tar.gz
        # 启动
        elasticsearch-7.12.0/bin/elasticsearch

      然后启动报错,大致内容如下:  

      ERROR: [3] bootstrap checks failed. You must address the points described in the following [3] lines before starting Elasticsearch.
      bootstrap check failure [1] of [3]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
      bootstrap check failure [2] of [3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
      bootstrap check failure [3] of [3]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured
      ERROR: Elasticsearch did not exit normally - check the logs at /opt/elasticsearch/logs/elasticsearch.log

      大致内容是说我们3个配置没有做,也对,刚下载解压后直接运行,肯定会有很多问题:

      1、bootstrap check failure [1] of [3]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]

      这个是说ElasticSearch进程的最大文件描述大小需要65535,而当前是4096,解决办法是修改 /etc/security/limits.conf 文件,在末尾加上(存在则修改,数值不能比要求的小):  

        * soft nofile 65535
        * hard nofile 65535
        * soft nproc 65535
        * hard nproc 65535

      2、bootstrap check failure [2] of [3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

      这是说最大虚拟内存太小(vm.max_map_count配置),至少需要262144,当前为65530,解决办法是修改 /etc/sysctl.conf 文件,在末尾加上(存在则修改,数值不能比要求的小):

        vm.max_map_count=262144

      3、bootstrap check failure [3] of [3]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured

      这是说我们没有对ElasticSearch发现进行配置,至少需要配置discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes中的一个:  

        discovery.seed_hosts:集群节点列表,每个值应采用host:port或host的形式(其中port默认为设置transport.profiles.default.port,如果未设置则返回transport.port)
        discovery.seed_providers:集群节点列表的提供者,作用就是获取discovery.seed_hosts,比如使用文件指定节点列表
        cluster.initial_master_nodes:初始化时master节点的选举列表,一般使用node.name(节点名称)配置指定,配置旨在第一次启动有效,启动之后会保存,下次启动会读取保存的数据

      比如这里我全部的配置如下(config/elasticsearch.yml),更多配置参考官网:https://www.elastic.co/guide/en/elasticsearch/reference/current/settings.html:  

        # 启动地址,如果不配置,只能本地访问
        network.host: 0.0.0.0
        # 节点名称
        node.name: node-name
        # 节点列表
        discovery.seed_hosts: ["192.168.209.132"]
        # 初始化时master节点的选举列表
        cluster.initial_master_nodes: [ "node-name" ]
        # 集群名称
        cluster.name: cluster-name
        # 对外提供服务的端口
        http.port: 9200
        # 内部服务端口
        transport.port: 9300    
        # 跨域支持
        http.cors.enabled: true
        # 跨域访问允许的域名地址(正则)
        http.cors.allow-origin: /.*/

      注:如果还报上面1、2的异常,那可能需要重启一下了。

      接着启动,结果提示jdk版本不对,原来我自己配置了环境变量JAVA_HOME,而ElasticSearch就是用了这个环境变量对应的java来运行,即通过sdk版本不对,另外还warning,JAVA_HOME环境变量已经弃用了,使用ES_JAVA_HOME代替:  

      warning: usage of JAVA_HOME is deprecated, use ES_JAVA_HOME
      Future versions of Elasticsearch will require Java 11; your Java version from [/opt/jdk1.8.0_202/jre] does not meet this requirement. Consider switching to a distribution of Elasticsearch with a bundled JDK. If you are already using a distribution with a bundled JDK, ensure the JAVA_HOME environment variable is not set.

      因为ElasticSearch包中包含了JDK,所以我们可以直接使用,有两种使用办法:

      1、添加环境变量ES_JAVA_HOME指向ElasticSearch包中包含了JDK目录

      2、修改bin/elasticsearch-env中代码,我们注释掉JAVA_HOME部分的判断:

      

      配置完成后,在启动,然后访问 http://192.168.209.132:9200/,如果显示类似下面的json,表示启动成功了

      

      账号密码

      如果想要添加账户密码,只需要在config/elasticsearch.yml中添加下面两个配置:  

        xpack.security.enabled: true
        xpack.security.transport.ssl.enabled: true

      上面两个配置表示启用x-pack验证插件

      然后重启ElasticSearch,执行下面的命令即可设置与ElasticSearch关联的一些账号的密码:  

        bin/elasticsearch-setup-passwords interactive

      

      设置完成之后就需要使用账号密码访问了,账号就是上图的第一个设置elastic:  

        # 不带认证访问会报认证异常
        curl http://localhost:9200/_cat/indices
        # -u参数指定账号,执行后会提示输入密码
        curl -u elastic http://localhost:9200/_cat/indices
        # -u参数指定账号和密码,格式:user:password
        curl -u elastic:123456 http://localhost:9200/_cat/indices

      设置了密码,还可以修改密码:  

        # 需要使用api来操作修改密码
        curl -XPOST -u elastic http://localhost:9200/_security/user/elastic/_password -H "Content-Type:application/json" -d "{"password":"abcdefg"}"

      如果忘记密码,可以先取消认证,即注释掉上面config/elasticsearch.yml中添加的两个配置,然后重启ElasticSearch,然后找到一个类型.security-X的index,删除掉就可以回到最初无密码认证的状态了:  

        # 查看.security-X存在与否
        curl http://localhost:9200/_cat/indices | grep ".security"
        # 删除index,我这里是.security-7
        curl -XDELETE http://localhost:9200/.security-7

      

      中文分词器

      ElasticSearch应用时,我们常常会使用到中文,这样ElasticSearch原来的分词器就不够用了,需要安装一个中文分词器,用的多的就是IK分词器,下载地址(下载.zip包):https://github.com/medcl/elasticsearch-analysis-ik/releases

      

      下载好之后,在ElasticSearch主目录下的plugins目录新建一个目录,然后将下载好的ik分词器压缩包放进去,再使用unzip解压:  

        # 在ElasticSearch主目录下的plugins目录新建一个目录,我的ElasticSearch主目录是/opt/elasticsearch,所以在/opt/elasticsearch/plugins新建一个目录:analysis-ik
        mkdir /opt/elasticsearch/plugins/analysis-ik
        # 将下载好的ik分词器压缩包放进去
        mv elasticsearch-analysis-ik-7.12.0.zip /opt/elasticsearch/plugins/analysis-ik/
        # 进入新建的analysis-ik目录进行解压
        cd /opt/elasticsearch/plugins/analysis-ik
        # 解压
        unzip elasticsearch-analysis-ik-7.12.0.zip

      做完之后重启ElasticSearch就可以了

      集群

      上面是启动一个节点的ElasticSearch集群,如果我们要启动多个节点的集群,比如我有三台服务器:192.168.209.128,192.168.209.129,192.168.209.132

      首先按照上面单个节点的形式保证能运行起来,然后修改配置:

      192.168.209.132

        # 启动地址,如果不配置,只能本地访问
        network.host: 0.0.0.0
        # 节点名称
        node.name: node-132
        # 节点列表
        discovery.seed_hosts: ["192.168.209.128", "192.168.209.129", "192.168.209.132"]
        # 初始化时master节点的选举列表
        cluster.initial_master_nodes: [ "node-128", "node-129", "node-132" ]
        # 集群名称
        cluster.name: cluster-name
        # 对外提供服务的端口
        http.port: 9200
        # 内部服务端口
        transport.port: 9300
       # 跨域支持 http.cors.enabled: true # 跨域访问允许的域名地址(正则) http.cors.allow-origin: /.*/

      192.168.209.129  

        # 启动地址,如果不配置,只能本地访问
        network.host: 0.0.0.0
        # 节点名称
        node.name: node-129
        # 节点列表
        discovery.seed_hosts: ["192.168.209.128", "192.168.209.129", "192.168.209.132"]
        # 初始化时master节点的选举列表
        #cluster.initial_master_nodes: [ "node-128", "node-129", "node-132" ]
        # 集群名称
        cluster.name: cluster-name
        # 对外提供服务的端口
        http.port: 9200
        # 内部服务端口
        transport.port: 9300
       # 跨域支持 http.cors.enabled: true # 跨域访问允许的域名地址(正则) http.cors.allow-origin: /.*/

      192.168.209.128

        # 启动地址,如果不配置,只能本地访问
        network.host: 0.0.0.0
        # 节点名称
        node.name: node-128
        # 节点列表
        discovery.seed_hosts: ["192.168.209.128", "192.168.209.129", "192.168.209.132"]
        # 初始化时master节点的选举列表
        #cluster.initial_master_nodes: [ "node-128", "node-129", "node-132" ]
        # 集群名称
        cluster.name: cluster-name
        # 对外提供服务的端口
        http.port: 9200
        # 内部服务端口
        transport.port: 9300
       # 跨域支持 http.cors.enabled: true # 跨域访问允许的域名地址(正则) http.cors.allow-origin: /.*/

      这里的配置基本上和单机启动一样,只不过在discovery.seed_hosts中指定了节点列表。然后将每个节点启动即可,然后分别访问各服务的9200端口,查看服务是否正常启动。

      同时,也可以访问任意节点的http://host:9200/_cluster/health查看集群状态:green表示正常,yellow表示警告,red表示异常

      注:并不是每个节点都需要配置cluster.initial_master_nodes

      

      Kibana安装

      Kibana下载地址:https://www.elastic.co/cn/downloads/kibana

      同样的,下载编译好的包(7.12.0)

      

      然后解压,然后修改config/kibana.yml,添加ElasticSearch的节点配置:  

      # 服务端口,默认5601
      server.port: 5601
      # 启动地址,默认localhost,如果不修改,那么远程无法访问
      server.host: 0.0.0.0
      # elasticsearch集群地址,旧版本是elasticsearch.url
      elasticsearch.hosts: ["http://192.168.209.128:9200","http://192.168.209.129:9200","http://192.168.209.132:9200"]
      # 如果ES有设置账号密码,则添加下面的账号密码设置
      #elasticsearch.username: username
      #elasticsearch.password: passwor

      然后就可以启动了:  

        # 启动
        kibana-7.12.0-linux-x86_64/bin/kibana

      启动之后,访问http://ip:5601就能访问到kibina了,kibina内部功能功能很多,像绘制图表仪表盘等等,还有很多模拟数据,可自行了解,不过我们开发常用的就是它的Dev-Tools了,用来发送Restfull的请求来访问操作ElasticSearch:

      

      进入dev-tools后就可以自行操作了:

      

    一个专注于.NetCore的技术小白
  • 相关阅读:
    关于android的一些博文收集
    关于Synchronized关键字锁住对象的嵌套问题
    eclipse个人觉得有用的快捷键
    关于android 数据库查询出现 _id column do not exist 的处理
    【转】经典网文:追MM与设计模式
    Maven学习总结(28)——Maven+Nexus+Myeclipse集成
    Spring MVC学习总结(9)——Spring MVC整合swagger自动生成api接口文档
    Windows学习总结(7)——学会CMD命令提示符的重要性
    ActiveMQ学习总结(10)——ActiveMQ采用Spring注解方式发送和监听
    SVN学习总结(3)——分支合并
  • 原文地址:https://www.cnblogs.com/shanfeng1000/p/14684295.html
Copyright © 2020-2023  润新知