写在前面
本文是阅读论文《边缘计算:万物互联时代新型计算模型》的笔记。
背景
目前,大数据处理已经从以云计算为中心的集中式处理时代(把2005-2015年称之为集中式大数据处理时代)正在跨入以万物互联为核心的边缘计算时代(称之为边缘式大数据处理时代)。集中式大数据处理时代,更多的是集中式存储和处理大数据,其采取的方式是建造云计算中心,并利用云计算中心超强的计算能力来集中式解决计算和存储问题。相比而言,在边缘式大数据处理时代,网络边缘设备会产生海量实时数据;并且,这些边缘设备将部署支持实时数据处理的边缘计算平台为用户提供大量服务或功能接口,用户可通过调用这些接口来获取所需的边缘计算服务。
现有的问题
随着物联网(Internet of things, IoT) 的快速发展和4G/5G无线网络的普及,万物互联(Internet of everything, IoE) 的时代已经到来,网络边缘设备数量的迅速增加,使得该类设备所产生的数据已达到泽字节(ZB)级别。以云计算模型为核心的集中式大数据处理时代,其关键技术已经不能高效处理边缘设备所产生的数据。主要存在以下四个问题:
- 线性增长的集中云计算能力无法匹配爆炸式增长的海量边缘数据;
- 从网络边缘设备传输海量数据到云中心导致网络传输带宽的负载量急剧增加,造成较长的网络延迟;
- 网络边缘数据涉及个人隐私,使得隐私安全问题变得尤为突出;
- 有限电能的网络边缘设备传输数据到云中心消耗较大电能。
定义
边缘计算是指在网络边缘执行计算的一种新型计算模型,边缘计算中边缘的下行数据表示云服务,上行数据表示万物互联服务,而边缘计算的边缘是指从数据源到云计算中心路径之间的任意计算和网络资源。
图1中,蓝色实线表示数据生产者发送源数据到云中心,红色实线表示数据消费者向云中心发送使用请求,红色虚线表示云中心将结果反馈给数据消费者。
图2表示基于双向计算流的边缘计算模型。云计算中心不仅从数据库收集数据,也从传感器和智能手机等边缘设备收集数据。这些设备兼顾数据生产者和消费者.因此,终端设备和云中心之间的请求传输是双向的。网络边缘设备不仅从云中心请求内容及服务,而且还可以执行部分计算任务,包括数据存储、处理、缓存、设备管理、隐私保护等。
优势
边缘计算模型将原有云计算中心的部分或全部计算任务迁移到数据源的附近执行。从大数据的3V特点,即数据量(volume)、时效性(velocity)、多样性(variety),通过对比云计算模型为代表的集中式大数据处理(如图3所示)和以边缘计算模型为代表的边缘式大数据处理(如图4所示)时代不同数据特征来阐述边缘计算模型的优势。
挑战
在边缘计算研究中可能遇到的迫切需要解决的7个关键问题,主要包括:可编程性、命名规则、数据抽象、服务管理、数据隐私保护及安全、理论基础以及商业模式。
可编程性
云计算模型下应用程序开发的一个优点是基础设施对用户透明。用户程序通常在目标平台上编写和编译,在云服务器上运行。在边缘计算模型中,需要将部分或全部的计算任务从云端迁移到边缘节点,而边缘节点大多是异构平台,每个节点上的运行时环境可能有所差异,因此,在边缘计算模型下部署用户应用程序时,程序员将遇到较大的困难。而现有传统编程方式MapReduce,Spark等均不适合,需研究基于边缘计算的新型编程方式。
命名规则
在边缘计算模型中,边缘设备数目巨大,与计算机系统的命名规则类似,边缘计算的命名规则对编程、寻址、识别和数据通信具有非常重要的作用,而当前暂无较为高效的命名规则。边缘计算的命名规则不仅需要满足异构设备间的通信的需求,还需要满足移动设备、高度动态的网络拓扑结构、隐私安全等需求。传统的命名机制如DNS,URI满足大多数的网络结构,但却不能灵活地为动态边缘网络提供服务,原因在于大多数的边缘设备具有高度移动性和有限资源,而基于IP的命名规则,因复杂性和开销太大而难以应用到边缘计算中。
数据抽象
边缘计算模型中使用数据时会遇到3种挑战:
- 不同设备所传输数据格式的多样性。
- 数据抽象程度的不确定性。如果数据抽象过滤较多的源数据,将导致一些应用或服务程序因无法获得足够信息而运行失败;反之,若保留大量源数据,数据存储和管理将是系统开发者所面临的另一种挑战。此外,边缘设备发送的数据具有不可靠性,如何从不可靠信息源中抽象出有用的信息仍是一个技术挑战。
- 数据抽象的适用性。由于边缘设备的异构性,数据表示及操作也有所不同,这将成为通用数据抽象的障碍。
服务管理
边缘计算的服务管理方面,任意一种可靠系统均具有4种特征:即差异性(differentiation)、可扩展性(extensibility)、隔离性(isolation)及可靠性(reliability)。
- 差异性:网络的边缘会部署多种服务,而这些服务需要有不同的优先级。如健康相关的服务高于其他娱乐服务的优先级。
- 可扩展性:需要设计一种灵活且可扩展的边缘操作系统来实现服务层的管理。
- 隔离性:由于在边缘计算模型中存在多个应用共享同一种数据,当某个应用程序崩溃时不能影响到其他需要访问该数据的应用程序。另外如何隔离第三方程序与用户的隐私数据也是一个挑战。
- 可靠性:从服务的角度来看,当服务失败时要能够快速诊断故障或者恢复服务;从系统的角度来看,能够在系统层部署如故障检测、设备替换和数据质量检测等服务;从数据的角度来看,要能够在数据通信不可靠的情况下,提供可靠的服务。
数据隐私保护及安全
数据隐私保护及安全是边缘计算提供的一种重要服务。相比将所有的数据处理过程都在云计算中心进行,在数据源附近进行计算是保护隐私和数据安全的一种有效方法。
理论基础
边缘计算的理论基础当前并不成熟,需要综合计算、数据通信、存储及能耗优化等多学科已有比较完善的理论基础,提出综合性或多维度的边缘计算理论,这是目前在开展边缘计算研究中首要解决的关键性问题。合理的边缘计算理论基础对学界和产业界未来更好地开展基于边缘计算模型的应用服务研究和开发工作具有极为重要的指导意义。
商业模型
边缘计算横跨信息技术(IT)、通讯技术(CT)等多个领域,涉及软硬件平台、网络联接、数据聚合、芯片、传感、行业应用等多个产业链角色.边缘计算的商业模型更多的将会不仅是以服务为驱动,用户请求相应的服务,而更多的将以数据为驱动。
相关研究
随着大数据时代的发展,为了解决云计算中心计算负载和数据传输带宽的问题,研究者也提出多种关于计算任务从云计算中心迁移到网络的边缘的技术,其中主要典型模型包括:分布式数据库模型、P2P模型、CDN模型、移动边缘计算模型、雾计算模型以及海云计算。
总结
边缘计算模型与云计算模型并不是非此即彼的关系,而是相辅相成的关系,边缘式大数据处理时代是边缘计算模型与云计算模型的相互结合的时代,二者的有机结合将为万物互联时代的信息处理提供较为完美的软硬件支撑平台。
参考
施巍松,孙辉,曹杰,等.边缘计算:万物互联时代新型计算模型[J].计算机研究与发展,2017,54(5):904-924.