• elasticsearch 了解多少,说说你们公司 es 的集群架构,索 引数据大小,分片有多少,以及一些调优手段 。


    面试官:想了解应聘者之前公司接触的 ES 使用场景、规模,有没有做过比较大

    规模的索引设计、规划、调优。

    解答

    如实结合自己的实践场景回答即可。

    比如:ES 集群架构 13 个节点,索引根据通道不同共 20+索引,根据日期,每日

    递增 20+,索引:10 分片,每日递增 1 亿+数据,

    每个通道每天索引大小控制:150GB 之内。

    仅索引层面调优手段:

    1.1、设计阶段调优

    1、根据业务增量需求,采取基于日期模板创建索引,通过 roll over API 滚动索

    引;

    2、使用别名进行索引管理;

    3、每天凌晨定时对索引做 force_merge 操作,以释放空间;

    4、采取冷热分离机制,热数据存储到 SSD,提高检索效率;冷数据定期进行 shrink

    操作,以缩减存储;

    5、采取 curator 进行索引的生命周期管理;

    6、仅针对需要分词的字段,合理的设置分词器;

    7、Mapping 阶段充分结合各个字段的属性,是否需要检索、是否需要存储等。……..

    1.2、写入调优

    1、写入前副本数设置为 0;

    2、写入前关闭 refresh_interval 设置为-1,禁用刷新机制;

    3、写入过程中:采取 bulk 批量写入;

    4、写入后恢复副本数和刷新间隔;

    5、尽量使用自动生成的 id。

    1.3、查询调优

    1、禁用 wildcard;

    2、禁用批量 terms(成百上千的场景);

    3、充分利用倒排索引机制,能 keyword 类型尽量 keyword;

    4、数据量大时候,可以先基于时间敲定索引再检索;

    82 页 共 485 页5、设置合理的路由机制。

    1.4、其他调优

    部署调优,业务调优等。

    上面的提及一部分,面试者就基本对你之前的实践或者运维经验有所评估了。

  • 相关阅读:
    Redis12:客户端
    Redis11:事件
    Redis10:RDB持久化与AOF持久化
    Redis09:过期时间与删除策略、redis中的特殊线程
    Redis08:redis中的对象与存储形式
    Redis07:底层:基数树radix tree
    Redis06:底层:跳跃链表skiplist
    C++基础知识:异常处理
    C++基础知识:STL简介
    C++基础知识:泛型编程
  • 原文地址:https://www.cnblogs.com/programb/p/13020689.html
Copyright © 2020-2023  润新知