一 Use of Time-series Based Forecasting Technique for Balancing Load and Reducing Consumption of Energy in a Cloud Data Center
摘要:
由于工作负载分配不均,一些服务器变得过载,而另一些服务器仍处于欠载状态。 为了实现负载平衡,需要从过度使用的节点迁移一些虚拟机。 但是与此不同的是,本文提出了一种负载预测算法,该算法将根据系统的当前以及将来的工作量来决定是否迁移。 因此,一旦声明节点过载,我们提出的技术就不会立即启动虚拟机迁移。 我们的算法已在CloudSim中进行了仿真,并将其性能与现有的基准算法进行了比较。 结果证明,所提出的技术不仅使数据中心更节能,而且更有效地平衡了工作量。
介绍
当前的大多数研究工作[5-12]基于系统的当前利用率。 如果服务器当前过载,则VM迁移将立即启动[7]。 但是由于迁移的开销,不必要的VM迁移可能会导致违反SLA。 结果,每次VM迁移都会增加运营成本。 因此,问题在于确定何时应开始迁移,以使与SLA违规和额外能耗有关的成本降至最低。 为此,提出了一种基于时间序列的负载预测方法,该方法决定了VM迁移的决策。 当主机的利用率水平超过动态上限时,该主机将被声明为过度利用。 如果服务器现在过载,并且下一个预测的负载也大于动态上限,则将进行迁移。 负载预测模型使我们的算法能够成功减少VM迁移的数量,并通过提供绿色IT解决方案来节省能源。
二 Auto-Scaling Network Resources using Machine Learning to Improve QoS and Reduce Cost
摘要:
VNF实例的数量类似于云中的通用计算资源,可以根据负载轻松扩展。因此,自动缩放(无需人工干预的资源)一直受到关注。 关于自动缩放的先前研究使用测得的网络流量负载来动态响应流量变化。 在这项研究中,我们提出了一种基于主动机器学习(ML)的方法来执行VNF的自动缩放以响应动态流量变化。 我们建议的ML分类器从过去的VNF缩放决策和网络流量负载的时间/空间行为中学习,以提前生成缩放决策。与现有的基于ML的自动缩放方法相比,我们的研究探索了底层虚拟化技术的属性(例如启动时间)如何影响服务质量(QoS)和成本节省。 我们考虑了四种不同的虚拟化技术:基于虚拟机管理程序虚拟化的Xen和KVM,以及基于容器虚拟化的Docker和LXC。 我们的结果表明,使用从私有ISP收集的真实数据,机器学习分类器的准确性令人鼓舞。我们报告了学习过程的深入分析(学习曲线分析),特征排名(功能选择,主成分分析(PCA)等),不同功能集的影响,培训时间和测试时间。 我们的结果表明所提出的方法如何提高QoS并降低网络所有者的运营成本。 我们还演示了一个实际的用例示例(带有VNF和骨干网的软件定义的广域网(SD-WAN)),以表明我们的ML方法为网络服务租赁商节省了可观的成本。
介绍:
最近的研究建议通过结合流量预测和基于阈值的方法来主动进行VNF缩放。 但是,使用此类方法进行自动缩放可能会导致次优决策。 因此,我们提出了一种主动式机器学习(ML)分类器,以便提前生成缩放决策(而不是流量预测)。。
我们的建议将VNF自动缩放问题转换为监督的ML分类问题。 为了训练监督的ML分类器,我们使用过去的VNF缩放决策和测量的网络负载。分类输出是在不违反服务质量(QoS)要求和部署不必要的VNF实例的情况下为将来的流量提供服务所需的VNF实例数。我们还提供了学习过程的深入分析(学习曲线分析),功能排名(功能选择,主成分分析(PCA)等)以及不同功能集的影响,这在目前文献中并未进行研究。这项研究的另一项贡献是分析了底层虚拟化技术对自动扩展性能的影响。我们比较了四种不同的虚拟化技术:基于虚拟机管理程序虚拟化的Xen和KVM,以及基于容器虚拟化的Docker和LXC。 虚拟机(VM)是在主机OS上运行但模仿专用硬件的应用程序/操作系统(OS)环境。相反,容器是可以在主机OS或主机VM上运行的轻巧,便携式且独立的软件包。 根据部署方案的不同,这些虚拟机/容器的关键属性(例如启动时间)可能会大不相同。我们的研究使用从ISP收集的实际网络流量负载跟踪比较了建议的ML分类器的准确性。 我们讨论了附加功能和更多训练数据对分类准确性的影响; 并在一个实际的使用案例(带有VNF和骨干网的软件定义的广域网(SD-WAN))中量化所提出的方法如何提高QoS并降低网络所有者和租赁者的运营成本。
主要贡献:
- 1)我们提出了两种基于ML的方法,这些方法将自动缩放决策转换为ML分类问题,以便我们可以从网络的测量数据中隐藏的见识和时间模式中学习。
- 2)针对ML套件WEKA [4]中可用的不同类别的算法,我们使用三个性能指标来探索ML分类器的准确性,并报告来自七个性能最高的ML算法的结果。
- 3)我们报告了学习过程的深入分析(学习曲线分析),功能排名(功能选择,主成分分析(PCA)等)以及不同功能集的影响。据我们所知,我们是第一个报告网络资源自动扩展的详细分析的人。
- 4)我们还报告了所提出的ML分类器的培训(离线模型构建)和测试(运行时决策)时间,并解释了这些参数对于实际实施的考虑因素如何至关重要。
- 5)我们的结果表明,所提出的方法如何提高QoS,降低网络所有者的运营成本以及降低网络服务租赁商的租赁成本。我们还考虑了四种不同的虚拟化技术来比较它们对VNF托管的影响。
三 Hidden Markov Model-based Load Balancing in Data Center Networks
年份:2018
SCI
摘要:
通过使用路径带宽信息,集中式负载均衡算法可以提高路径选择的合理性。但是,为了确保信息的准确性,当前的集中式负载平衡算法会监视路径中的所有链路带宽信息,以确定路径带宽。但是,由于控制器监视的链路带宽信息过多,因此浪费了很多时间,这对于现代数据中心而言是不可接受的。提出了一种基于隐马尔可夫模型的负载均衡算法。 HMMLB利用隐马尔可夫模型(HMM)为数据流选择路径,该路径具有较少的受监视链路,较少的时间成本,并且具有与传统集中式负载平衡算法大致相同的网络吞吐率。为了生成HMMLB,本研究首先将路径选择问题转化为HMM问题。其次,在数据中心拓扑中部署传统的集中式负载均衡算法,以收集训练数据。最后,使用收集的数据训练HMM。
在本章将提出基于隐马尔科夫的多径路由策略(Using HMM to Generate Centralized multipath routing strategy)。本文将HMM部署在选径模型中,希望通过HMM来处理链路带宽信息,从而得出拓扑中的路径剩余带宽情况。HMM的优势在于只要通过适当训练,它就能通过少量链路带宽信息来推知准确的拓扑中路径剩余带宽情况,从而做出合理的选径决策。而传统的集中控制式负载均衡算法要获得准确的路径剩余带宽情况,一般要通过收集全部相关链路带宽信息才可以做到。
获取少量的链路带宽数据能够带来的好处是较少的监控时间消耗,从而提高选径模型时间效率。然而,需要解决的问题是:第一,如何建立合适选径模型的HMM。第二,在HMM中哪些链路需要被监控。
并行链路之间存在着联系,称之为“此消彼长”。可以笼统的表示为:端到端的通信中,当一条数据流被分配到了其中一条链路,它所对应的并行链路就节省了这一部分带宽。于是,可以选择并行链路中的一条作为监控链路,利用并行链路的联系和监控链路的带宽情况,推测其对应的并行链路的带宽情况。当然,这种联系需要被具体化,才能发挥作用。
为了能够具体化并行链路之间的联系,把交换机和监控链路的带宽情况看成节点。在端到端通信中,路径由一系列交换机组成,则把路径看成一条Markov Chain[58]。同理,监控链路的带宽情况可以组成一条Markov Chain。通过监控链路的Markov Chain来决定路径的Markov Chain。所以,监控链路的Markov Chain是显状态链,路径的Markov Chain是隐状态链。选径的过程可以表示为一个马尔科夫过程。通过建立HMM来描述这个选径过程,并通过输入目标算法进行训练,来获取并行链路之间的具体联系。当这种关联性被发现,就可以减少监控链路的数量,利用少量监控链路的带宽信息,推知全局的带宽信息,并作出适当选路决策,即使得PP被最大化,T被最小化。
主要运用以下中的2,3两个点。
四 Automatically Inferring Patterns of Resource Consumption in Network Traffic
年份:2003
来源:Applications, technologies, architectures, and protocols for computer communications
概要
论文介绍了一种流量表征的新方法,该方法可将流量自动分组为明显消耗的最小群集。通过对流得不同分类,实现有意义得集合。分类得标准主要是设定cluster集合,cluster集合可以是[源ip,源端口]、[目的ip,目的端口]或者是标准得五元组组成。主要使用autofocus工具进行实验,在第四节介绍了autofocus工具——一种流量分析工具。翻墙搜了一波,发现已经不能用了,。论文非常不好理解,所以还是早点放弃了。
Resource Allocation in NFV: A Comprehensive Survey
年份:2016
来源:IEEE TRANSACTIONS ON NETWORK AND SERVICE MANAGEMENT
摘要:
网络功能虚拟化(NFV)是一个新的网络体系结构框架,其中,以前在专用硬件(中间盒或网络设备)上使用的网络功能现在在运行在通用硬件(例如大容量服务器)之上的软件中实现。 NFV是业界(网络运营商,运营商和制造商)发起的一项举措,目的是提高部署灵活性和新网络服务的集成,并提高运营商网络内的敏捷性,并大幅降低运营支出和资本支出。 NFV促进虚拟化网络功能,例如代码转换器,防火墙和负载平衡器等,这些功能由专用硬件设备执行并将其迁移到基于软件的设备。部署NFV的主要挑战之一是基于NFV的网络基础架构中所需网络服务的资源分配。这一挑战被称为NFV资源分配(NFV-RA)问题。通过介绍提出解决方案的主要方法的新颖分类,本文介绍了NFV-RA的最新技术。本文还介绍了仍在NFV-RA领域中进行未来研究的课题。
总结
作者将NFV的部署叙述为三个部分,第一部分是VNFs-CC,即VNFs链的组成,要求满足VNF之间的依赖性。第二部分是VNF-FGE,代表的是VNF嵌入到底层物理网络。VNF-FG是由第一部分得出的结果,也就是VNF转发图。这部分的要求可能根据不同的网络提供商的要求确定,比如资源消耗最小、最节能、优化特殊的QoS metric。VNF-FGE被认为是VNE(虚拟网络嵌入)或者VDCE的生成问题。第三部分是VNFs-SHC,这部分主要是讲调度问题。即讲网络功能映射到物理设备上,如何进行调度以实现最小的执行时间并且不会导致性能降级以及遵守所有的优先级和满足VNFs之间的依赖性。
论文还讨论了 NFV-RA 的 参数,嵌入目标,协调和优化策略有关的问题。 此外,提供了各种指标来评估NFV-RA解决方案的性能,并有提到个别仿真工具。
将来的几个挑战方向
1.NFV-RA Coordination Stages(协调NFV-RA的多个阶段)
2.Dynamic NFV-RA (考虑所有请求都是在线、未知的情况,存在recomposing,remapping等)
3.Resources Discovery (按需或者主动计算架构中的剩余资源情况)
4. QoS Compliant Allocations(符合QoS的分配)
5.Chain Re-Composition and Resilience to Failure (对于出现故障的情况能偶进行重组链)
6. Energy Saving