sentinel是今年阿里开源的高可用防护的流量管理框架。
git地址:https://github.com/alibaba/Sentinel
wiki:https://github.com/alibaba/Sentinel/wiki
FAQ:https://github.com/alibaba/Sentinel/wiki/FAQ
--------------------------------------------------------------------------------------------------------------------------------------------------------
本文对其中的DataSource扩展进行学习,此为第一部分ReadableDataSource。
sentinel-datasource-extension模块,在sentinel-extension模块下,见下图:
sentinel-datasource-extension模块主要定义了datasource扩展相关的接口,见下图:
其中,FileRefreshableDataSource、FileWritableDataSource是基于文件的DataSource的实现;
此外官方还提供了zookeeper、nacos、apolo的3个DataSource实现,参见上图的sentinel-datasource-zookeeper、sentinel-datasource-nacos、sentinel-datasource-apollo的3个模块;
首先,我们来看下sentinel-datasource-extension模块吧,先看下接口和类图结构;
在IDEA里,选中com.alibaba.csp.sentinel.datasource包下所有类和接口,右键->Diagrams->Show Diagram(Ctrl+Alt+Shift+U):
可以看到顶层有3个接口,两个DataSource,一个Converter;
顾名思义,ReadableDataSource表示读的数据源,WriteableDataSource表示写的数据源,Converter表示转换器接口;
一个个看:)
ReadableDataSource<S, T>:这是个泛型接口,其实注释很清楚了,S、T分别代码来源和结果,一般是把某个数据来源对象转换成Sentinel的Rule类,比如String->List<FlowRule>;
接口定义了4个方法:
1.T loadConfig() 从数据源中读取数据,返回T类型数据;
后面会看到,其实该方法实现通常是2步
S readSource(); // 调下面的readSource接口读取
T convert(S source); // 通过Converter<S, T>接口转换
2.S readSource() 从数据源中读取数据,返回S类型数据;
读取数据跟具体的数据源有关,需要数据源相关的api包或client;
比如从文件中读数据,通过java.io、java.nio包;
从zookeeper读取,通过org.apache.curator client api;
读数据又分为拉模式、推模式,参考sentinel官方的wiki,动态规则扩展:https://github.com/alibaba/Sentinel/wiki/%E5%8A%A8%E6%80%81%E8%A7%84%E5%88%99%E6%89%A9%E5%B1%95
拉模式:继承AutoRefreshDataSource抽象类,在readSource()中实现从数据源读取数据;
推模式:继承AbstractDataSource抽象类,在构造函数中添加数据源变动的监听器,在readSource()中实现从数据源读取数据;
注:继承这两个抽象类是推荐的一种简单方式,但不是强制;
3.SentinelProperty<T> getProperty() 返回SentielProperty,注意是<T>类型
SentinelProperty<T>是一个泛型接口,在sentinel-core模块的property包下
4.void close() 关闭数据源,一般是指释放资源,比如文件类型数据源关闭文件
既然关键接口其中一个方法返回SentinelProperty<T>,那我们先去sentinel-core看看该接口和相关的实现类。
先查看接口和类图结构。同样方法,选中property包下所有类和接口,右键->Diagrams->Show Diagram(Ctrl+Alt+Shift+U):
顶层有2个接口,看名称PropertyListener可能跟SentinelProperty的监听有关。
先看SentinelProperty接口
有3个方法,看名称感觉有点像观察者模式中的监听器。
接着,我们看下它的2个实现类
NoOpSentinelProperty类方法实现为空,从名称也看得出,它不作任何操作;
对着NoOpSentinelProperty类名按住Crtl+鼠标左键,
发现只有EmptyDataSource类用到了NoOpSentinelProperty,看注释和方法,了解到这是一个空的DataSource实现,用于设置默认配置。
接着,我们重点关注SentinelProperty<T>接口的另一个实现DynamicSentinelProperty<T>
可以看到,DynamicSentinelProperty<T>定义了2个属性,
Set<PropertyListener<T>> listeners用于保存属性监听器,注意PropertyListener<T>是接口类型;
T value 用于存值;
观察addListener、removeListener方法,分别是往Set<PropertyListener<T>> listeners添加和删除监听器;
只是addListener方法添加了监听器后,调用了添加的那个监听器的listener.configLoad(value)回调方法,用于监听器处理第一次加载
在实现的void updateValue(T newValue)方法中,首先通过isEqual(value, newValue)方法,判断了新值和旧值是否相同,
如果相同,不作处理直接返回;
如果不同,首先用RecordLog.info方法记1条日志信息;
将新值赋给value,遍历监听器集合,调用回调方法listener.configUpdate(newValue);// 看到这里就很清楚了,这是典型的观察者模式
此外,DynamicSentinelProperty还提供一个public方法close用户清空监听器集合;
我们接着看PropertyListener<T>接口:
该接口提供了两个回调方法,1个是value更新回调,1个是第一次加载value回调
在看实现了PropertyListener<T>的SimplePropertyListener类:
该类是一个抽象类,重写了configLoad方法,调用configUpdate(value)方法,意思就是第一次加载回调复用更新回调的逻辑。
到这里,我们并没有看到PropertyListener<T>接口的具体实现类,
选中PropertyListener文件,Ctrl+H查看类继承结构:
可以看到除SimplePropertyListener抽象类外,有6个类直接或间接实现了PropertyListener<T>,通过静态内部类或匿名内部类;
限于篇幅,本文就不展开了。
对sentinel-core下的property包简单总结下:定义了属性和监听器接口,其中DynamicSentinelProperty通过观察者模式,实现了属性的第一次加载和变动的回调通知。
我们回到datasource包,顺着ReadableDataSource的继承结构看:
先看AbstractDataSource<S,T>:
实现了ReadableDataSource<S,T>的两个接口,T loadConfig()和 SentinelProperty<T> getProperty()
定义了两个属性,一个转换器Converter<S, T> parser,一个前文提到的SentinelProperty<T> property;
可以看到getProperty()直接返回propery即可;
而loadConfig()方法,首先调用接口中的readSource()方法得到S数据,再调用parser.convert转换成T数据// ps:这里变量名是parser,因Converter接口重构过,以前版本叫ConfigParser接口,后来抽象出了WritableDataSource接口,
S->T、T->S都有转换,因此ConfigParser改为Converter
构造函数中,需要传入一个Converter<S,T>对象,并且验证不能为null;而SentinelProperty<T> property使用了之前提到的DynamicSentinelProperty<T>实现;
再来看AutoRefreshDataSource<S, T>抽象类:
该类扩展了AbstractDataSource<S, T>,在基础上通过ScheduledExecutorService使用后台线程,定时刷新数据(即轮询方式的拉模式),
抽象了一个protected boolean isModified()方法,用于子类实现,判断数据源是否发生了数据变化;
T newValue = loadConfig(); // 还记得AbstractDataSource<S, T>实现了loadConfig吗,通过readSource()、parser.convert()两步实现
getProperty().updateValue(newValue);// 这两句很关键,自定义实现也会用到,读取数据,更新SentinelProperty。
实现了close()方法,用ScheduledExecutorService的shutdownNow()方法,进行了线程的关闭;
注意:AutoRefreshDataSource<S, T>仍然是个抽象类,因为它没有实现具体S readSource()方法,留给具体数据源的子类实现;
接下来,我们下一个类FileRefreshableDataSource,终于该类不是抽象类了:) 可以new使用。
该类代码较多,就不贴完了,首先继承AutoRefreshDataSource<String, T>,注意:泛型S已经没有了,而是具体的String,说明T readSource方法返回的是String,Converter<S, T>中的转换来源也是String;
静态属性文件读取的固定参数,比如文件缓冲区最大限制,字符类型等;
类属性定义了缓存区字节数组、文件等;
来看关键的两个方法:
readSource是抽象类中没有实现的方法了,这里有了具体实现,从文件中读取数据,并返回String;
isModifed方法根据文件修改时间判断是否数据源(即文件内容)发生了变化;
我们看看FileRefreshableDataSource具体哪里用到的;按住Ctrl键,对着类名点左键:
找到了它的demo示例,在sentinel-demo模块的子模块sentinel-demo-dynamic-file-rule下:
可以看到,使用FileFreashDataSource就4步:
1.定义文件路径
2.定义String到List<XxxRule>转换器
3.构造FileFreashDataSource
4.用XxxRuleManager.register2Property加载
--------------------------------------------------------------------------------------------------------------------------------------------------------
最后,我们对ReadableDataSource做个简单的总结:
层次结构:ReadableDataSource->AbstractDataSource->AutoRefreshDataSource->FileRefreshDataSource
T loadConfig() 读取数据源并转换为T类型,调用readSource()得到S,调用Converter<S,T> 得到T
S readSource() 读取数据源,得到S
SentinelProperty<T> getProperty() 获取SentinelProperty<T>接口,一般是DynamicSentinelProperty<T>类型
一次从读取数据源到更新数据过程:通过loadConfig()得到T,getProperty().updateValue(T)
拉模式:继承AutoRefreshDataSource抽象类,在readSource()中实现从数据源读取数据;
例:FileRefreshDataSource
推模式:继承AbstractDataSource抽象类,在构造函数中添加数据源变动的监听器,在readSource()中实现从数据源读取数据;
例:ZookeeperDataSource、NacosDataSource、ApolloDataSource
// 再回过头去看最开始的类图,可以发现sentinel的datasource这样的泛型接口和抽象类结构定义是比较优雅的,让自定义DataSource实现变得更加简单:)
--------------------------------------------------------------------------------------------------------------------------------------------------------
思考:
SentinelProperty<T>接口没有提供getValue方法,不能获取T value;
只能通过给SentinelProperty添加监听器PropertyListener<T>,并在回调方法void configUpdate(T value)、void configLoad(T value)时,能够访问value;
// 个人理解可能这是一种对property中value的保护
--------------------------------------------------------------------------------------------------------------------------------------------------------
参考:
sentinel官方wiki-动态规则扩展 https://github.com/alibaba/Sentinel/wiki/动态规则扩展
聊聊sentinel的DataSource https://my.oschina.net/go4it/blog/1929547