【RSA2018】创新沙盒 | AWAKE SECURITY基于机器学习的安全分析平台
Awake Security是来自加利福尼亚州桑尼维尔的威胁检测厂商,创立于2014年,在2017年被评为Gartner酷潮厂商(Cool Vendor),其安全调查平台(Security Investigation Platform)入围了RSA 2018创新沙盒决赛。该平台是Awake Security提供的基于机器学习的安全分析平台,结合网络流量等数据,为安全分析人员提供了一个上下文丰富、可以持续进行追踪的高级分析功能系统。
Awake构建了一个安全知识图谱数据模型
根据Awake官方网站介绍,该产品使用网络数据来识别环境中的所有实际实体(如设备,用户和域名),然后构建一个独特的安全知识图谱(Security Knowledge Graph)数据模型,里面包含了实体间详细的映射关系,以及每个实体诸如设备类型,操作系统、应用软件版本和行为活动等信息。
平台的检测和响应引擎,就像专业分析人员一样,自动显示值得安全分析人员注意的实体和行为,识别具有类似行为的相关实体,为给定的实体提取安全相关的活动,并建立一个调查时间线。安全分析人员通过丰富的响应式用户界面,可以在几秒钟内搜索的查询实体的属性和行为。
Awake安全调查平台主要功能
Awake的安全调查平台主要有以下功能:
- 现代威胁检测
可识别无文件恶意软件、内部恶意行为、凭证滥用和内网横向移动等恶意行为。
- 攻击行为分析
通过集成SIEM或威胁情报平台,对攻击活动进行有效的分析和分类。
- 自动化安全知识图谱构建
利用机器学习技术处理网络数据,自动化创建一个可用于关联、解析并追踪各类设备、用户及域名的“安全知识图谱”(The Security Knowledge Graph)。
Awake安全调查平台界面
安全调查平台分析界面的一些截图:
仪表盘界面
资产信息界面
设备追踪界面
威胁行为查询界面
平台整体架构图
核心系统架构图
Awake安全调查平台核心组件介绍:
- 解析器
用专家调查推断法提取完整的特征属性,比如软件版本、用户行为、硬件特点和业务功能等等。
- 实体预备关联引擎
实时处理输入数据,识别和跟踪实体,构建的基础安全知识图谱。
- 多模型数据存储模块
存储结构化和非结构化数据,例如原始数据包(非结构化)、提取信号(结构化)、推导出图结构和安全知识图谱数据等。
- 查询引擎
使用自定义索引和作业共享技术来实现大型多模型数据集查询场景下的低延迟查询,同时提供交互式响应和时间序列查询。
- 智能分析
通过数据挖掘技术和可扩展的无监督机器学习来整合图谱数据和预先关联的批量数据。
Awake 安全调查平台优点
1.通过在源和目标实体上自动构建上下文来全面分析网络流量。
2.使用人工智能对实体进行评分,并标记出最高风险的设备,用户或域名。
3.检测无文件恶意软件等最具威胁性的行为,暴露指挥和控制基础设施的攻击者。
4.将机构知识与人工智能结合起来,对安全威胁作出确凿的回应
5.不需要代理商,不需要繁杂的手动配置,上手简单,不需要过多的培训
基于传统SOC的安全事件调查是繁琐低效的。现有的解决方案不会去主动构建一个描绘真实网络环境的实体数据模型,而是需要分析人员手动的重原始的数据中去提取信息实体。
Awake的目标就是解放安全分析人员的双手,主动预测安全分析人员要处理的事件,极大的减少安全事件响应时间,使得防守者的响应速度赶上攻击者的行动,及时阻断恶意攻击。
安全知识图谱(Security Knowledge Graph)数据模型
Awake通过安全知识图谱(Security Knowledge Graph)数据模型,里面包含了实体间详细的映射关系,以及每个实体诸如设备类型,操作系统、应用软件版本和行为活动等信息。绿盟科技在内外部安全大数据分析中也大量使用到知识图谱。通过使用本体论的思想,我们构建威胁本体集合,包括威胁主体、攻击方法、资产、隐患和防御手段。本体之间存在关联关系。本体之间的关联关系源自本体之间的共同属性或相似属性。例如,若一个资产实例和一个防御手段实例产生关联,则该资产类型与防御手段所防护的资产类型相同,该资产的应用版本和防御手段防御的应用版本相同,同时资产和防御手段的OSI层次相互覆盖。通过定义威胁元模型之间的关系来源,能够理清本体内部的关键属性,同时满足后续知识提取后自动化生成关联关系。
下图就是一个永恒之蓝的攻击防御场景。
利用知识图谱构建攻击场景
通过构建知识图谱,可以进行多种业务推理,例如攻击推断、攻击团伙判定、防御策略自动化选择等;同时可以通过图分析算法在知识图谱数据中,自动化聚类得到社群和团伙特征。
例如下图就是在在海量样本的网络行为中挖掘命令与控制者(C&C)的层次化关系。
利用知识图谱和图算法分析社群特征