• elasticsearch高级配置一 ---- 分片分布规则设置


    Java代码  收藏代码
    1. cluster.routing.allocation.allow_rebalance  


    设置根据集群中机器的状态来重新分配分片,可以设置为always, indices_primaries_active和indices_all_active,默认是设置成indices_all_active来减少集群初始启动时机器之间的交互。

    Java代码  收藏代码
    1. cluster.routing.allocation.cluster_concurrent_rebalance  


    设置在集群中最大允许同时进行分片分布的个数,默认为2,也就是说整个集群最多有两个分片在进行重新分布。

    Java代码  收藏代码
    1. cluster.routing.allocation.node_initial_primaries_recoveries  


    设置指定初始每个节点。由于多数情况下是使用local的gateway,这应该会更快,

    Java代码  收藏代码
    1. cluster.routing.allocation.node_concurrent_recoveries  


    设置在节点中最大允许同时进行分片分布的个数,默认为2

    Java代码  收藏代码
    1. cluster.routing.allocation.disable_allocation  


    使主要分片或副本的分布失效。要知道,如果主分片不存在(那个节点挂了)那么其副本仍然会被提升为主分片,这个设置只有在动态地使用集群更新设置api调用时才生效。

    Java代码  收藏代码
    1. cluster.routing.allocation.disable_replica_allocation  


    使副本分布失效。和上一个设置一样,只有动态地使用集群更新设置api调用时才生效。

    Java代码  收藏代码
    1. indices.recovery.concurrent_streams  


    当从一个点(peer)恢复分片时当前节点最多允许的文件读取流的个数,默认为5

    自定义分片分布规则
    可以通过设置分片的分布规则来人为地影响分片的分布,下面是个例子:

    假设我们有几个机架。当我们启动一个节点,我们可以设置一个叫rack_id(其它名字也可以)的属性,例如下面设置:

    Java代码  收藏代码
    1. node.rack_id: rack_one  


    上面这个例子设置了一个属性叫rack_id,它的值为rack_one。现在,我们要设置rack_id作为分片分布规则的一个属性(在所有节点都要设置)。

    Java代码  收藏代码
    1. cluster.routing.allocation.awareness.attributes: rack_id  


    上面设置意味着rack_id会用来作为分片分布的依据。例如:我们启动两个 node.rack_id设置rack_one的节点,然后建立一个5个分片,一个副本的索引。这个索引就会完全分布在这两个节点上。如果再启动另外两个 节点,node.rack_id设置成rack_two,分片会重新分布,但是一个分片和它的副本不会分配到同样rack_id值的节点上。可以为分片分 布规则设置多个属性,例如:

    Java代码  收藏代码
    1. cluster.routing.allocation.awareness.attributes: rack_id,zone  


    注意:当设置了分片分布属性时,如果集群中的节点没有设置其中任何一个属性,那么分片就不会分布到这个节点中。

    强制分布规则
    更多的时候,我们不想更多的副本被分布到相同分布规则属性值的一群节点上,那么,我们可以强制分片规则为一个指定的值。
    例如,我们有一个分片规则属性叫zone,并且我们知道有两个zone,zone1和zone2.下面是设置:

    Java代码  收藏代码
    1. cluster.routing.allocation.awareness.force.zone.values: zone1,zone2  
    2. cluster.routing.allocation.awareness.attributes: zone  


    现在我们启动两个node.zone设置成zone1的节点,然后创建一个5个分片,一个副本的索引。索引建立完成后只有5个分片(没有副本),只有当我们启动node.zone设置成zone2的节点时,副本才会分配到那节点上。
    分片分布过滤
    允许通过include/exclude过滤器来控制分片的分布。这些过滤器可以设置在索引级别上或集群级别上。下面是个索引级别上的例子:

    假如我们有四个节点,每个节点都有一个叫tag(可以是任何名字)的属性。每个节点都指定一个tag的值。如:节点一设置成node.tag: value1,节点二设置成node.tag: value2,如此类推。我们可以创建一个索引然后只把它分布到tag值为value1和value2的节点中,可以通过设置
    index.routing.allocation.include.tag 为value1,value2达到这样的效果,如:

    Java代码  收藏代码
    1. curl -XPUT localhost:9200/test/_settings -d '{      
    2.     "index.routing.allocation.include.tag" : "value1,value2"      
    3. }'  



    与此相反,通过设置index.routing.allocation.exclude.tag为value3,我们也可以创建一个索引让其分布在除了tag设置为value3的所有节点中,如:

    Java代码  收藏代码
    1. curl -XPUT localhost:9200/test/_settings -d '{      
    2.     "index.routing.allocation.exclude.tag" : "value3"      
    3. }'  



    include或exclude过滤器的值都会使用通配符来匹配,如value*。一个特别的属性名是_ip,它可以用来匹配节点的ip地址。
    显然,一个节点可能拥有多个属性值,所有属性的名字和值都在配置文件中配置。如,下面是多个节点的配置:

    Java代码  收藏代码
    1. node.group1: group1_value1   
    2. node.group2: group2_value4  



    同样的方法,include和exclude也可以设置多个值,如:

    Java代码  收藏代码
    1. curl -XPUT localhost:9200/test/_settings -d '{      
    2.     "index.routing.allocation.include.group1" : "xxx"      
    3.     "index.routing.allocation.include.group2" : "yyy",      
    4.     "index.routing.allocation.exclude.group3" : "zzz",      
    5. }'  



    上面的设置可以通过索引更新的api实时更新到索引上,允许实时移动索引分片。

    集群范围的过滤器也可以定义,可以通过集群更新api实时更新到集群上。这些设置可以用来做让一些节点退出集群的操作。下面是通过ip地址去掉一个节点的操作:

    Java代码  收藏代码
      1. curl -XPUT localhost:9200/_cluster/settings -d '{      
      2.     "transient" : {      
      3.         "cluster.routing.allocation.exclude._ip" : "10.0.0.1"      
      4.     }      
      5. }' 
  • 相关阅读:
    Java并发包中Lock的实现原理
    多线程---再次认识volatile,Synchronize,lock
    共享锁(S锁)和排它锁(X锁)
    Java 7中的TransferQueue 以及 SynchronousQueue
    精巧好用的DelayQueue
    非阻塞同步算法与CAS(Compare and Swap)无锁算法
    彻底理解线索二叉树
    使用import取代require
    子页面iframe跨域执行父页面定义的JS方法
    利用js实现 禁用浏览器后退
  • 原文地址:https://www.cnblogs.com/halberts/p/4737415.html
Copyright © 2020-2023  润新知