• [学习]sentinel中的DatatSource(一) ReadableDataSource


    sentinel是今年阿里开源的高可用防护的流量管理框架

    git地址:https://github.com/alibaba/Sentinel

    wiki:https://github.com/alibaba/Sentinel/wiki

    FAQ:https://github.com/alibaba/Sentinel/wiki/FAQ

    --------------------------------------------------------------------------------------------------------------------------------------------------------

    本文对其中的DataSource扩展进行学习,此为第一部分ReadableDataSource。

    sentinel-datasource-extension模块,在sentinel-extension模块下,见下图:

     sentinel-datasource-extension模块主要定义了datasource扩展相关的接口,见下图:

    其中,FileRefreshableDataSource、FileWritableDataSource是基于文件的DataSource的实现;

    此外官方还提供了zookeeper、nacos、apolo的3个DataSource实现,参见上图的sentinel-datasource-zookeeper、sentinel-datasource-nacos、sentinel-datasource-apollo的3个模块;

    首先,我们来看下sentinel-datasource-extension模块吧,先看下接口和类图结构;

    在IDEA里,选中com.alibaba.csp.sentinel.datasource包下所有类和接口,右键->Diagrams->Show Diagram(Ctrl+Alt+Shift+U):

    可以看到顶层有3个接口,两个DataSource,一个Converter;

    顾名思义,ReadableDataSource表示读的数据源,WriteableDataSource表示写的数据源,Converter表示转换器接口;

    一个个看:)

    ReadableDataSource<S, T>:这是个泛型接口,其实注释很清楚了,S、T分别代码来源和结果,一般是把某个数据来源对象转换成Sentinel的Rule类,比如String->List<FlowRule>;

    接口定义了4个方法:

    1.T loadConfig() 从数据源中读取数据,返回T类型数据;

       后面会看到,其实该方法实现通常是2步

       S readSource(); // 调下面的readSource接口读取

       T convert(S source); // 通过Converter<S, T>接口转换

    2.S readSource() 从数据源中读取数据,返回S类型数据;

       读取数据跟具体的数据源有关,需要数据源相关的api包或client;

       比如从文件中读数据,通过java.io、java.nio包;

             从zookeeper读取,通过org.apache.curator client api;

          

        读数据又分为拉模式、推模式,参考sentinel官方的wiki,动态规则扩展:https://github.com/alibaba/Sentinel/wiki/%E5%8A%A8%E6%80%81%E8%A7%84%E5%88%99%E6%89%A9%E5%B1%95

        拉模式:继承AutoRefreshDataSource抽象类,在readSource()中实现从数据源读取数据;

        推模式:继承AbstractDataSource抽象类,在构造函数中添加数据源变动的监听器,在readSource()中实现从数据源读取数据;

        注:继承这两个抽象类是推荐的一种简单方式,但不是强制;

    3.SentinelProperty<T> getProperty() 返回SentielProperty,注意是<T>类型

       SentinelProperty<T>是一个泛型接口,在sentinel-core模块的property包下

    4.void close() 关闭数据源,一般是指释放资源,比如文件类型数据源关闭文件

    既然关键接口其中一个方法返回SentinelProperty<T>,那我们先去sentinel-core看看该接口和相关的实现类。

    先查看接口和类图结构。同样方法,选中property包下所有类和接口,右键->Diagrams->Show Diagram(Ctrl+Alt+Shift+U):

    顶层有2个接口,看名称PropertyListener可能跟SentinelProperty的监听有关。

    先看SentinelProperty接口

    有3个方法,看名称感觉有点像观察者模式中的监听器。

    接着,我们看下它的2个实现类

    NoOpSentinelProperty类方法实现为空,从名称也看得出,它不作任何操作;

    对着NoOpSentinelProperty类名按住Crtl+鼠标左键,

    发现只有EmptyDataSource类用到了NoOpSentinelProperty,看注释和方法,了解到这是一个空的DataSource实现,用于设置默认配置。

    接着,我们重点关注SentinelProperty<T>接口的另一个实现DynamicSentinelProperty<T>

    可以看到,DynamicSentinelProperty<T>定义了2个属性,

    Set<PropertyListener<T>> listeners用于保存属性监听器,注意PropertyListener<T>是接口类型;

    T value 用于存值;

    观察addListener、removeListener方法,分别是往Set<PropertyListener<T>> listeners添加和删除监听器;

    只是addListener方法添加了监听器后,调用了添加的那个监听器的listener.configLoad(value)回调方法,用于监听器处理第一次加载

    在实现的void updateValue(T newValue)方法中,首先通过isEqual(value, newValue)方法,判断了新值和旧值是否相同,

    如果相同,不作处理直接返回;

    如果不同,首先用RecordLog.info方法记1条日志信息;

    将新值赋给value,遍历监听器集合,调用回调方法listener.configUpdate(newValue);// 看到这里就很清楚了,这是典型的观察者模式

    此外,DynamicSentinelProperty还提供一个public方法close用户清空监听器集合;

    我们接着看PropertyListener<T>接口:

    该接口提供了两个回调方法,1个是value更新回调,1个是第一次加载value回调

    在看实现了PropertyListener<T>的SimplePropertyListener类:

    该类是一个抽象类,重写了configLoad方法,调用configUpdate(value)方法,意思就是第一次加载回调复用更新回调的逻辑。

    到这里,我们并没有看到PropertyListener<T>接口的具体实现类,

    选中PropertyListener文件,Ctrl+H查看类继承结构:

    可以看到除SimplePropertyListener抽象类外,有6个类直接或间接实现了PropertyListener<T>,通过静态内部类或匿名内部类;

    限于篇幅,本文就不展开了。

    对sentinel-core下的property包简单总结下:定义了属性和监听器接口,其中DynamicSentinelProperty通过观察者模式,实现了属性的第一次加载和变动的回调通知

    我们回到datasource包,顺着ReadableDataSource的继承结构看:

    先看AbstractDataSource<S,T>:

    实现了ReadableDataSource<S,T>的两个接口,T loadConfig()和 SentinelProperty<T> getProperty()

    定义了两个属性,一个转换器Converter<S, T> parser,一个前文提到的SentinelProperty<T> property;

    可以看到getProperty()直接返回propery即可;

    而loadConfig()方法,首先调用接口中的readSource()方法得到S数据,再调用parser.convert转换成T数据// ps:这里变量名是parser,因Converter接口重构过,以前版本叫ConfigParser接口,后来抽象出了WritableDataSource接口,

    S->T、T->S都有转换,因此ConfigParser改为Converter

    构造函数中,需要传入一个Converter<S,T>对象,并且验证不能为null;而SentinelProperty<T> property使用了之前提到的DynamicSentinelProperty<T>实现;

    再来看AutoRefreshDataSource<S, T>抽象类:

    该类扩展了AbstractDataSource<S, T>,在基础上通过ScheduledExecutorService使用后台线程,定时刷新数据(即轮询方式的拉模式),

    抽象了一个protected boolean isModified()方法,用于子类实现,判断数据源是否发生了数据变化;

    T newValue = loadConfig(); // 还记得AbstractDataSource<S, T>实现了loadConfig吗,通过readSource()、parser.convert()两步实现
    getProperty().updateValue(newValue);// 这两句很关键,自定义实现也会用到,读取数据,更新SentinelProperty。

    实现了close()方法,用ScheduledExecutorService的shutdownNow()方法,进行了线程的关闭;

    注意:AutoRefreshDataSource<S, T>仍然是个抽象类,因为它没有实现具体S readSource()方法,留给具体数据源的子类实现;

    接下来,我们下一个类FileRefreshableDataSource,终于该类不是抽象类了:)  可以new使用。

    该类代码较多,就不贴完了,首先继承AutoRefreshDataSource<String, T>,注意:泛型S已经没有了,而是具体的String,说明T readSource方法返回的是String,Converter<S, T>中的转换来源也是String;

    静态属性文件读取的固定参数,比如文件缓冲区最大限制,字符类型等;

    类属性定义了缓存区字节数组、文件等;

    来看关键的两个方法:

    readSource是抽象类中没有实现的方法了,这里有了具体实现,从文件中读取数据,并返回String;

    isModifed方法根据文件修改时间判断是否数据源(即文件内容)发生了变化;

    我们看看FileRefreshableDataSource具体哪里用到的;按住Ctrl键,对着类名点左键:

     找到了它的demo示例,在sentinel-demo模块的子模块sentinel-demo-dynamic-file-rule下:

    可以看到,使用FileFreashDataSource就4步:

    1.定义文件路径

    2.定义String到List<XxxRule>转换器

    3.构造FileFreashDataSource

    4.用XxxRuleManager.register2Property加载

    --------------------------------------------------------------------------------------------------------------------------------------------------------

    最后,我们对ReadableDataSource做个简单的总结:

    层次结构:ReadableDataSource->AbstractDataSource->AutoRefreshDataSource->FileRefreshDataSource

    T loadConfig() 读取数据源并转换为T类型,调用readSource()得到S,调用Converter<S,T> 得到T

    S readSource()  读取数据源,得到S

    SentinelProperty<T> getProperty()  获取SentinelProperty<T>接口,一般是DynamicSentinelProperty<T>类型

    一次从读取数据源到更新数据过程:通过loadConfig()得到T,getProperty().updateValue(T)

    拉模式:继承AutoRefreshDataSource抽象类,在readSource()中实现从数据源读取数据;

                  例:FileRefreshDataSource

    推模式:继承AbstractDataSource抽象类,在构造函数中添加数据源变动的监听器,在readSource()中实现从数据源读取数据;

                  例:ZookeeperDataSource、NacosDataSource、ApolloDataSource

    // 再回过头去看最开始的类图,可以发现sentinel的datasource这样的泛型接口和抽象类结构定义是比较优雅的,让自定义DataSource实现变得更加简单:)

    --------------------------------------------------------------------------------------------------------------------------------------------------------

    思考:

    SentinelProperty<T>接口没有提供getValue方法,不能获取T value;

    只能通过给SentinelProperty添加监听器PropertyListener<T>,并在回调方法void configUpdate(T value)、void configLoad(T value)时,能够访问value;

    // 个人理解可能这是一种对property中value的保护

    --------------------------------------------------------------------------------------------------------------------------------------------------------

    参考:

    sentinel官方wiki-动态规则扩展 https://github.com/alibaba/Sentinel/wiki/动态规则扩展

    聊聊sentinel的DataSource https://my.oschina.net/go4it/blog/1929547

  • 相关阅读:
    poj3613 Cow Relays【好题】【最短路】【快速幂】【离散化】
    poj1734 Sightseeing trip【最小环】
    poj1094 Sorting It All Out【floyd】【传递闭包】【拓扑序】
    BZOJ2200 道路和航线【好题】【dfs】【最短路】【缩点】
    CH6101 最优贸易【最短路】
    poj3662 Telephone Lines【最短路】【二分】
    codeforces#514 Div2---1059ABCD
    进阶指南---基本算法【阅读笔记】
    hdu5954 Do not pour out【积分】【二分】【待补.....】
    mariadb yum安装
  • 原文地址:https://www.cnblogs.com/cdfive2018/p/9614314.html
Copyright © 2020-2023  润新知