openfalcon源码分析之hbs
本节内容
- hbs功能
- hbs源码分析
- hbs设计优劣
1. hbs功能
hbs在整个open-falcon项目中承担的角色就是连接数据库，作为数据库缓存，缓存配置，主要给agent和judge提供服务。
2. hbs源码分析
hbs源码分析将列出其对外提供的rpc服务以及其缓存的数据，并在最后尝试阐述其最重要的两个rpc服务GetExpressions和GetStrategies的执行过程。
对外提供服务
hbs对外提供服务的方式有RPC和http，主要使用的是其rpc服务，其对外提供服务的rpc接口列表如下：
| 接口名 | 提供对象 | 提供服务 |
|---|---|---|
| MinePlugins | agent | 通过agent提供的hostname获取其对应的主机组列表，再找到对应plugin list返回 |
| ReportStatus | agent | 获取agent的信息缓存并插入或更新到数据库中的host中(hostname, ip, agent_version, plugin_version) |
| TrustableIps | agent | 如果配置文件中配置了信任IP，则把信任IP列表发给agent |
| BuiltinMetrics | agent | 通过agent的hostname获取其对应的主机组列表，并找到templat list，从strategy表中筛选出('net.port.listen', 'proc.num', 'du.bs', 'url.check.health')这些metric的metric和tags |
| GetExpressions | judge | 返回数据库中所有生效的Expressions |
| GetStrategies | judge | 获取所有的strategys并按照hostname:strategys的方式组织数据返回 |
缓存数据
hbs启动了一个定时任务，每间隔一分钟去数据库读取数据并缓存起来。下表是其缓存的数据列表：
| 缓存名称 | 含义 | 执行sql |
|---|---|---|
| GroupPlugins | 缓存所有的plugins路径 | select grp_id, dir from plugin_dir |
| GroupTemplates | 缓存主机组和模板对应关系 | select grp_id, tpl_id from grp_tpl |
| HostGroupsMap | 缓存主机和主机组对应关系 | select grp_id, host_id from grp_host |
| HostMap | 缓存所有主机 | select id, hostname from host |
| TemplateCache | 缓存所有模板 | select id, tpl_name, parent_id, action_id, create_user from tpl |
| Strategies | 缓存所有strategys | "select %s from strategy as s where (s.run_begin='' and s.run_end='') or (s.run_begin <= '%s' and s.run_end > '%s')","s.id, s.metric, s.tags, s.func, s.op, s.right_value, s.max_step, s.priority, s.note, s.tpl_id",now,now |
| HostTemplateIds | 缓存主机与模板对应关系 | select a.tpl_id, b.host_id from grp_tpl as a inner join grp_host as b on a.grp_id=b.grp_id |
| ExpressionCache | 缓存所有正常的Expression | select id, expression, func, op, right_value, max_step, priority, note, action_id from expression where action_id>0 and pause=0 |
| MonitoredHosts | 缓存所有不处于维护状态的主机 | "select id, hostname from host where maintain_begin > %d or maintain_end < %d", now, now |
rpc调用GetExpressions过程
GetExpressions服务调用cache.ExpressionCache.Get()方法获取缓存中存储的所有Expression
rpc调用GetStrategies过程
GetStrategies服务先调用cache.HostTemplateIds.GetMap()方法获取每个主机id对应的所有template id,再调用cache.MonitoredHosts.Get()方法获取不处于维护状态的主机名与id列表。调用cache.TemplateCache.GetMap()方法获取所有的模板，调用cache.Strategies.GetMap()获取所有的strategies。调用Tpl2Strategies(strategies)对tpl_id和strategies做了一个字典映射，这样通过tpl_id就能找到对应的所有strategies。循环每台主机，调用CalcInheritStrategies方法获取每台主机对应的strategies,再将主机名和对应的strategies组合成一个结构体，将所有这些结构体组合在hostStrategies中返回给judge。Tpl2Strategies方法循环strategies,将tplid作为key,value是strategies组成的array,返回给调用者，目的是可以直接通过tplid找到对应的所有strategies。CalcInheritStrategies方法首先遍历主机对应的模板列表，对每个模板都寻找其父模板，生成一个模板bucket，这样，就使得原先的每个模板都变成了一个模板列表。- 遍历新的模板列表，过滤掉有包含关系的模板
bucket,生成uniq_tpl_buckets - 循环
uniq_tpl_buckets，找到所有的strategies，并用子模板的strategies覆盖父模板相同的strategies。 - 最后返回该主机对应的完整的
strategies。
3. hbs设计优劣
优点：
- hbs作为数据库缓存层，缓存了数据库中关于监控的配置，所有的agent和judge都直接来hbs中读取数据，减轻了数据库的压力。
- hbs接收agent上报过来的信息，并实时写入数据库中，可以立即自动发现安装了agent的机器，功能很不错。
缺点：
- 获取所有的
strategys功能代码太复杂，建议优化的更简洁。