控制问题的引入
传播现象在现实当中很常见,代表主要有人类传染病的传播、计算机病毒的传播、谣言的传播等。现实网络具有“小世界”特性,“六度分隔” 理论更是形象地表示了现实网络节点间距离小的特点,如果在这些网络上的传播行为不加以控制,那么其扩散速度是非常快的,对于有害的传播其危害将是极大的。因此,需要对一些传播行为进行控制。
控制问题有很多种划分方式,如果按照分析方法来划分,大体可以分为优化控制问题和自动控制问题。目前有关传播控制问题,几乎全部都是采用优化控制方法。
常见的优化控制问题主要分为两类:
- 第一类 : 如果总资源不限,如何实施控制使得消耗的总资源最少?
- 第二类 : 总资源一定,如何实施控制使得控制的效果最好?
第一类问题要求得到控制的同时花费的成本最小,第二类问题不一定能实现完全控制但要求控制的效果是最好的。举病毒传播的例子来说,第一类问题要求病毒最终完全消失的同时消耗的成本最小,第二类问题要求给定一定的资源如何使病毒含量降至最低。
传统控制方法
随机免疫
传统免疫方法主要是一些统计物理方法,其中代表有: 随机免疫、目标免疫、熟人免疫。随机免疫在上个世纪90年代就被提出来[1];目标免疫[2]和熟人免疫[3]是随着网络科学方法的兴起,在本世纪初被提出来。
随机免疫[1,2]方法是指完全随机地选取网络中的一部分节点进行免疫。定义免疫节点密度为 \(g\) ,从平均场的角度看,随机免疫相当于把传播率从 \(\lambda\) 缩减为 \(\lambda(1-g)\) 。对于均匀网络,随机免疫的免疫密度临界值 \(g_c\) 为[2]:
对于无标度网络,随机免疫的免疫密度临界值 \(g_c\) 为:
当 \(\langle k^2 \rangle\rightarrow\infty\) 时,免疫密度临界值 \(g_c\) 趋于1,这表明对于大规模的无标度网络采取随机免疫策略,需要对网络中几乎所有的节点都实施免疫才能保证最终消灭病毒传染。这种情况下要给所有节点实施免疫比较困难,因此免疫效率是很低的!
目标免疫
目标免疫是希望通过有选择地对极少量关键节点进行免疫以获得尽可能好的免疫效果。例如,根据无标度网络的度分布的非均匀特性,可以选取度大的节点进行免疫,一旦这些节点被免疫,传播可能的途径将会大大减少。对于BA无标度网络,目标免疫对应的免疫密度临界值为[2]:
上式表明,即使传播率 \(\lambda\) 在很大的范围内取不同的值,都可以得到很小的免疫密度临界值。因此,在无标度网络中,目标免疫效率一般比随机免疫要高。
熟人免疫
目标免疫需要了解网络的全局信息以找到控制病毒传播的hub节点。然而对于庞大复杂并且不断发展变化的人类社会和Internet来说,这是难以做到的。熟人免疫[3]的基本思想是:从 N 个节点中随机选出比例为 \(p\) 的节点,再从每一个被选出的节点中随机选择一个邻居节点进行免疫。这种策略只需要知道被随机选择出来的节点以及与它们直接相连的邻居节点,从而巧妙回避了目标免疫中需要知道全局信息的问题。
由于在无标度网络中,度大的节点意味着有许多节点与之相连;若随机选择一个节点,再选择其邻居节点时,度大的节点比度小的节点被选中的概率大很多,因此熟人免疫比随机免疫策略效果好很多。
一般来说:目标免疫效果>熟人免疫>>随机免疫.
从随机免疫到目标免疫,再到熟人免疫,传统的免疫方法在免疫效率和效果上不断得到改善,但是这些方法都还只是在统计学的基础上去尝试解决这个问题,在解决哪些节点应该被控制以及具体分配多少资源控制的处理上还是太粗糙,没有结合传播的动力学特性去分析问题的本质。
优化控制方法
传播模型
在前一节的小结中,我们指出来传统的控制方法存在的局限性。为了解决这些问题,基于优化控制方法做了一些尝试。首先,优化控制方法考虑了传播的动力学特性,将传播的动力学方程纳入分析当中;其次,优化控制方法在每个节点具体应该分配多少资源的处理上更加精细和科学。
在介绍优化控制方法之前,先介绍传播模型。Van Mieghem等在文献[4]中首次提出了基于节点级建模的SIS模型,模型如下:
\begin{equation}
\begin{split}
&\frac{dp_i(t)}{dt}=\beta_i\sumn_{j=1}a_{ij}p_j(t)-\delta_ip_i(t)-\beta_ip_i(t)\sumn_{j=1}a_{ij}p_j(t),\
&i=1,2,3,\cdots,n
\end{split}\tag{1}\label{1}
\end{equation}
其中 \(\{a_{ij}\}\) 表示邻接矩阵, \(\delta_i\) 表示节点 \(i\) 的恢复率, \(p_i(t)\) 表示节点 \(i\) 在时刻 \(t\) 被感染的概率。
方程\(\eqref{1}\)写成矩阵形式表示如下:
\begin{equation}
\frac{dp(t)}{dt}=(BA-D)p(t)-P(t)BAp(t)
\tag{2}\label{eq3_0_2}
\end{equation}
其中 \(p(t)=(p_1(t), p_2(t), \cdots, p_n(t))^T\), \(A=\{a_{ij}\}\), \(D=diag(\delta_i)\), \(P(t)=diag(p_i(t))\)。
凸规划方法
由于原问题方程为非线性微分方程组,涉及到非凸规划问题,为了求解方便,一般的思想是通过放缩找到原非线性方程的一个线性上界:
得到一个放缩后的线性微分方程组:
矩阵形式表述为:
只要上界线性系统能被控制,也即:矩阵 \((BA-D)\) 的所有特征值实部都小于0,那么原始非线性系统也肯定能得到控制。
记 \(\lambda_1\) 为矩阵 \((BA-D)\) 的最大特征值,所以原问题可以约化为以下规划问题
\begin{equation}
{\rm minimize}\sum^n_{i=1}\beta_i\tag{3}\label{2}
\end{equation}
约束条件
其中 \(\varepsilon\) 为任意小的正数,\(\beta_i\)为可控制量。
问题\eqref{2}不能直接来求解,但是利用文献[5]中介绍的几何规划方法可以证明\eqref{2}是凸规划问题。
具体求解思路:根据非负连通矩阵是不可约矩阵,所以特征值中实部最大的那个特征值是实数,并且等于矩阵的谱半径。再利用Perron-Frobenius定理,记矩阵\(M\)最大特征值为\(\lambda=\rho(M)\),那么对任意向量\(\textbf{u}\)都满足\(M\textbf{u}\leq\lambda M\),通过计算问题\eqref{2}最终等价于以下几何规划问题:
\begin{equation}
{\rm minimize}~~~\lambda\tag{4}
\end{equation}
约束条件
相关研究可以参考文献[6-21]
最优控制
对于一个最优控制问题
\begin{equation}
Minimize_{\rm u(\cdot)\in\mathcal{U}}J({\rm u}(\cdot))=\int^T_0L({\rm x}(t),{\rm u}(t))dt\tag{5}\label{3}
\end{equation}
约束条件:
其中 \(x(0)\in\Omega\),\(\Omega\) 是系统\eqref{3}的正不变集。利用庞德里亚金极值原理可以证明,问题\eqref{3}存在最优控制解如果以下条件同时成立:
(1)、存在 \({\rm u}\in\mathcal{U}\) 使得系统\eqref{3}可解;
(2)、\(\mathcal{U}\) 是凸集;
(3)、\(\mathcal{U}\) 是闭集;
(4)、\(\rm f(x,u)\) 有界,且被 \(\rm x\) 的一个线性函数所控制;
(5)、\(L({\rm x},{\rm u})\) 是 \(\mathcal{U}\) 上的凸函数;
(6)、存在常数 \(\rho>1, c_1>0\) 和 \(c_2\) 使得 \(L({\rm x},{\rm u})\geq c_1\|{\rm u}\|_2^\rho+c_2\) 成立
最优控制方法应用于控制问题的基本思路是:首先根据相应研究的问题建立起微分方程模型;然后确定好控制变量以及建立优化目标函数\eqref{3};接着验证该模型是否满足最优控制系统存在所需满足的条件(1)-(6);最后通过数值迭代法求解得到最优控制解。
相关研究内容可以参考文献[22-25]
非线性系统不一定可以求显式解,所以一般会把非线性系统线性化,这样做虽然能够大大简化原始控制问题的复杂性,但是毕竟这个过程不是等价的。能否利用非线性系统控制理论,去直接研究原始的非线性控制问题?这存在一定的难度,但同时也是一个很有意思的问题。另外,优化控制方法一般都需要知道系统的所有状态信息以及详细拓扑结构信息,然而在实际情况下这些信息很多都是难以全部获取得到的,而且把所有信息都考虑进去将会大大增加计算的复杂性,所以需要提出一种与实际结合,复杂度小一些的控制方法。
自动控制方法
自动控制方法是现代控制方法的重要组成部分,自动控制系统按控制结构可以划分为以下几种:
- 开环控制系统
控制系统的输出量(被控制量) \(x\) 不对系统的控制装置发生影响,简单来说控制装置的输出 \(u=u(t)\) ,它是一个与 \(x\) 无关的量。例子:电风扇转速控制系统。 - 闭环控制系统(反馈控制系统)
一方面,被控制量 \(x\) 既受控制量 \(u\) 的影响;另一方面,被控制量 \(x\) 又会反过来影响 \(u\),也即 \(u=u(t,x)\)。例子:电饭煲的加热控制系统。 - 复合控制系统
复合控制系统是开环控制和闭环控制相结合的一种控制方式。例子:恒温热水器。
开环控制 | 闭环控制 |
---|---|
1、输出信号对系统控制没有影响 | 1、输出信号对控制作用有直接影响 |
2、控制精度低,系统必须人工校准 | 2、有反馈调节,并应用反馈调节来减小系统误差,以使系统的输出趋于给定值 |
3、当出现干扰时,系统不能自动地完成既定的工作,需要人工重新调节才能恢复正常 | 3、当出现干扰时,系统无须人工调节,可自行减弱其影响 |
4、不存在稳定性问题 | 4、闭环控制系统可能工作不稳定,存在稳定性问题 |
因为闭环控制系统比开环控制系统有更好的性能,所以在实际当中闭环控制系统应用更广泛,下一节将介绍两种闭环控制系统。
Event-triggered控制
Event-triggered控制是一种被动控制方法。它是利用传感器收集系统 的状态信息,当系统的状态偏离某一阈值时触发控制行为。
下面以线性系统为例介绍Event-triggered控制。考虑以下线性系统:
\begin{equation}
\frac{dx_p}{dt}=A_px_p+B_pu, \quad x_p\in\mathbb{R}^{n_p}, u\in\mathbb{R}^{n_u}\tag{6}\label{4}
\end{equation}
假定控制变量 \(u\) 服从以下线性反馈控制规律:
\begin{equation}
u=Kx_p\tag{7}\label{5}
\end{equation}
那么将 \eqref{5} 带入 \eqref{4} 中可得以下理想的闭环系统:
\begin{equation}
\frac{dx_p}{dt}=A_px_p+B_pKx_p\tag{8}\label{6}
\end{equation}
为了使系统 \eqref{6} 是渐近稳定的需要矩阵 \(A_p+B_pK\) 的所有特征值实部为负数,现在的问题是如何在一个数字平台上实施反馈控制 \eqref{5}。有两种做法,一种做法是周期性地重新计算 \eqref{5}, 并在周期性的更新之间保持执行器的值为常数;另一种做法是不去周期性地重新计算 \eqref{5},而是只在性能不满足要求时才去重新计算 \eqref{5}。Event-triggered控制采用第二种做法。
决定性能的一种方法是使用一个Lyapunov函数,Lyapunov函数值的大小体现了系统变化速率情况,一般工业控制中不希望机器的生产效率波动很大,所以可以对Lyapunov函数的大小进行限制来达到这一要求。这里我们给定 \(V(x_p)=x_p^TPx_p\),其中 \(P\) 正定。对 \(V(x_p)\) 求导可得:
\begin{equation}
\frac{dV(x_p(t))}{dt}=\frac{\partial V}{\partial x_p}(A_p+B_pK)x_p=x^T_pQx_p\tag{9}\label{7}
\end{equation}
其中 \(Q\) 负定能保证系统渐近稳定。
可见 \(V\) 是单调递减的,并且 \(V\) 函数递减的速率可以由 \(Q\) 决定。如果在实际控制中,我们只能忍受 \(V\) 函数的一个比较小速率的递减,也即控制条件表述为:
\begin{equation}
\frac{dV(x_p(t))}{dt}\leq\sigma x^T_pQx_p\tag{10}\label{8}
\end{equation}
其中\(\sigma\in[0,1]\)为给定的临界常数。
我们只需要在控制条件 \(\eqref{8}\) 快要被破坏时重新计算 \eqref{5} 即可达到控制的目的, 也即:
为了方便起见,假定在两次间隔更新 \(\eqref{5}\),保持执行器的值为常数,也即只有在控制条件被破坏时才考虑调整执行器:\(u(t)=u(t_k), \quad \ \forall\in[t_k,t_{k+1}], k\in\mathbb{N}\).
记误差 \(e\) 表示为:
这里用误差 \(e\) 来表示闭环系统在时间 \([t_k,t_{k+1}]\) 内的演化情况
\begin{equation}
\begin{split}
\frac{dx_p(t)}{dt}&=A_px_p(t)+B_pKx_p(t_k)\
&=A_px_p(t)+B_pKx_p(t)+B_PK(x_p(t_k)-x_P(t))\
&=A_px_p(t)+B_pKx_p(t)+B_pKe(t)
\end{split}\tag{11}\label{9}
\end{equation}
将\eqref{9}带入\eqref{8}中得
也即有:
记
那么我们就得到控制器二次触发的条件:
每次触发控制后,我们可以通过选择适合的 \(\Phi\) 使得 \(z^T(t_k)\Phi z(t_k)<0\) 达到控制的目的。
进一步,我们可以得到触发控制的时间集合为
系统的全部状态信息必须可以获取得到(通过传感器直接测量或者间接计算得到),否则无法判断触发条件;在没有触发一个控制事件前,控制器保持不变;和最优控制不一样,Event-triggered控制的控制器不需要实时更新,而是通过被动触发;减少大量计算,更高效灵活。
Self-triggered控制
不同于Event-triggered控制,Self-triggered控制是一种积极控制方法。这种控制方法需要预先估计下一次触发控制的时间。
下面以ISS Self-triggered控制方法为例来作介绍。仍然考虑以下线性系统:
假设满足线性反馈控制规律 \(u=Kx_p\) ,那么闭环系统可以表示为:
\begin{equation}
\frac{dx_p}{dt}x_p=(A_p+B_pK)x_p\tag{12}\label{10}
\end{equation}
定义:如果存在\(\lambda,\kappa,\gamma\in\mathbb{R}^+\), 使得对于任意的 \(\omega\in\mathcal{L}_{\infty}\)以及任意的 \(x(0)=x_0\in\mathbb{R}^{n_x}\) , 对所有 \(t\in\mathbb{R}_0^+\) 都满足:
那么系统\eqref{10}就被称为指数 input-to-state 稳定(EISS)
下面考虑系统\eqref{10}在满足EISS稳定下的控制问题。
定义映射 \(\Gamma: \mathbb{R}^{n_x}\rightarrow\mathbb{R}^+\),\(\Gamma\)建立起不同触发时间之间的关系,也即:
用\(\tau_k=t_{k+1}-t_k\) 表示内部执行时间,可知 \(\tau_k=\Gamma(x(t_k))\)。
一旦映射 \(\Gamma\) 给定了,我们就可以根据当前状态来预估下次触发控制的时间,下面介绍构造映射 \(\Gamma\) 的方法。
同样,这里用Lyapunov函数来表示控制的性能,这里不妨给定 \(V(x)=(x^TPx)^{\frac{1}{2}}\),对于一个理想的闭环系统如果要求控制条件:
在实际估计时,我们加强上面的不等式条件:
\begin{equation}
V(x(t))\leq V(x_0)e^{-\lambda\tau}, \quad \forall \tau\in[0,t_{k+1}-t_k], \forall x0\in\mathbb{R}^{n_x}, \lambda\in[0,\lambda_0]\tag{13}\label{12}
\end{equation}
如果用\(h_c: \mathbb{R}^{n_x}\times\mathbb{R}^+_0\rightarrow\mathbb{R}\)表示映射关系:\(h_c(x(t_k),t)=V(x)-V(x(t_k))e^{-\lambda\tau}\)
那么\eqref{12}可以表示为 \(h_c(x(t_k),t)\leq0\),由于无法知道系统在\(\tau\in[t_k.t_{k+1}]\)时间里的所有状态信息\(x(\tau)\),这里退而求其次采用离散采样的方法获取系统在某些时刻的状态信息,这里采用对 \([t_k.t_{k+1}]\) 时间段进行切片,间隔为 \(\Delta\in\mathbb{R}^+\)。假设每个分割时间点的状态信息可以获取,对于 \(n\in[0,\frac{t_{k+1}-t_k}{\Delta}]\) ,通过判断是否满足:
具体来说我们用 \(N_{\rm min}:=[\tau_{\rm min}/\Delta], N_{\rm max}:=[\tau_{\rm max}/\Delta]\) ,这里的 \(\tau_{\rm min}\) 和 \(\tau_{\rm max}\) 为预设参数,现在我们给出构造 \(\Gamma\) 的方法:
定义:映射 \(\Gamma_d: \mathbb{R}^n\rightarrow\mathbb{R}^+\) 定义为:
其中
利用 \(\Gamma_d\) 我们可以得到每次具体实施控制的时间。
和Event-triggered相比,不需要知道系统所有时刻的状态信息,只需要知道某些时间点的状态信息;
需要主动去估计触发控制的时间;
每次都要重新计算下次触发控制的时间。
目前还没有用自动控制方法来做传播的控制问题,不过随着科技的发展,信息自动化在某些领域已经可以实现,比如说智能机器人。自动控制方法应用于传播控制问题将会有很大应用空间,比如说智能杀毒软件的研发等。
参考文献
[1] Anderson R M, May R M. Infectious diseases of human: dynamics and control [M]. Oxford University Press, 1992.
[2] Cohen R, Havlin S, Ben-Avraham D. Efficient Immunization Strategies for Computer Networks and Populations [J]. Physical Review Letters, 2003, 91 (24): 247901.
[3] Holme P. Efficient local strategies for vaccination and network attack [J]. EPL, 2004, 68 (68): 908.
[4] Mieghem P V, Omic J, Kooij R. Virus spread in networks [J]. IEEE/ACM Transactions on Networking (TON), 2009, 17 (1): 1–14.
[5] Boyd S, Kim S J, Vandenberghe L, et al. A tutorial on geometric programming [J]. Optimization & Engineering, 2007, 8 (1): 67.
[6] Preciado V M, Zargham M, Enyioha C, et al. Optimal vaccine allocation to control epidemic outbreaks in arbitrary networks [C]. In Decision and Control, 2013: 7486–7491.
[7] Preciado V M, Zargham M, Enyioha C, et al. Optimal Resource Allocation for Network Protection Against Spreading Processes [J]. IEEE Transactions on Control of Network Systems, 2014, 1 (1): 99–108.
[8] Altarelli F, Braunstein A, Dall’ Asta L, et al. Containing Epidemic Outbreaks by Message-Passing Techniques [J]. Phys.rev.x, 2014, 4 (2).
[9] Chen X, Preciado V M. Optimal coinfection control of competitive epidemics in multi-layer networks [J], 2014, 2015: 6209–6214.
[10] Preciado V M, Zargham M, Sun D. A convex framework to control spreading processes in directed networks [C]. In Information Sciences and Systems, 2014: 1–6.
[11] Drakopoulos K, Ozdaglar A, Tsitsiklis J. An efficient curing policy for epidemics on graphs [C]. In Decision and Control, 2014: 4447–4454.
[12] Hayel Y, Trajanovski S, Altman E, et al. Complete game-theoretic characterization of SIS epidemics protection strategies [C]. In Decision and Control, 2014: 1179–1184.
[13] Trajanovski S, Hayel Y, Altman E, et al. Decentralized Protection Strategies Against SIS Epidemics in Networks [J]. IEEE Transactions on Control of Network Systems, 2015, 2 (4): 406–419.
[14] Xu Z, Khanafer A, Basar T. Competition over epidemic networks: Nash and stackelberg games [C]. In American Control Conference, 2015: 2063–2068.
[15] Nowzari C, Ogura M, Preciado V M, et al. Optimal resource allocation for containing epidemics on time-varying networks [C]. In Asilomar Conference on Signals, Systems and Computers, 2015: 1333–1337.
[16] Watkins N J, Nowzari C, Preciado V M, et al. Optimal Resource Allocation for Competitive Spreading Processes on Bilayer Networks [J]. IEEE Transactions on Control of Network Systems, 2016, PP (99): 1–1.
[17] Ogura M, Preciado V M. Protection of Complex Networks against SIR Spreading Processes [J], 2016.
[18] Nowzari C, Preciado V M, Pappas G J. Analysis and Control of Epidemics: A Survey of Spreading Processes on Complex Networks [J]. IEEE Control Systems, 2016, 36 (1): 26–46.
[19] Hayel Y, Zhu Q. Epidemic Protection Over Heterogeneous Networks Using Evolutionary Poisson Games [J]. IEEE Transactions on Information Forensics & Security, 2017, 12 (8): 1786–1800.
[20] Nowzari C, Preciado V M, Pappas G J. Optimal Resource Allocation for Control of Networked Epidemic Models [J]. IEEE Transactions on Control of Network Systems, 2017, 4 (2): 159–169.
[21] Lokhov A Y, Saad D. Optimal deployment of resources for maximizing impact in spreading processes. [J]. Proceedings of the National Academy of Sciences of the United States of America, 2017, 114 (39): E8138.
[22] Yang L X, Draief M, Yang X. The optimal dynamic immunization under a controlled heterogeneous node-based SIRS model [J]. Physica A Statistical Mechanics & Its Applications, 2016, 450 (September): 403–415.
[23] Zhu Q, Yang X, Yang L X, et al. Optimal control of computer virus under a delayed model [J]. Applied Mathematics & Computation, 2012, 218 (23): 11613–11619.
[24] Chen L, Sun J. Global stability and optimal control of an SIRS epidemic model on heterogeneous networks [J]. Physica A Statistical Mechanics & Its Applications, 2014, 410 (410): 196–204.
[25] Hansen E, Day T. Optimal control of epidemics with limited resources [J]. Journal of Mathematical Biology, 2011, 62 (3): 423–451