一、大数据基本概念
大数据(Big Data) : 指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据主要解决,海量数据的采集、存储和分忻计算问题。
二、大数据特点
IBM公司提出大数据具有5V特点: 、、、、Veracity (真实性)
#1.Volume (大量)
截至目前,人类生产的所有印刷材料的数据量是200PB,而历史上全人类总共说过的话的数据量大约是5EB。当前,典型个人计算机硬盘的容量为TB量级,而一些大企业的数据量已经接近EB量级。
#2.Velocity (高速)
这是大数据区分于传统数据挖掘的最显著特征。根据IDC的"数字宇宙”的报告,预计到2025年,全球数据使用量将达到163ZB。 在如此海量的数据面前,处理数据的效率就是企业的生命。
天猫双十一: 2017年3分01秒,天猫交易额超过100亿
2020年96秒,天猫交易额超过100亿
#3.Variety (多样)
这种类型的多样性也上数据被分为结构化数据和非结构化数据。相对于以往便于存储的以数据库文本为主的结构化数据,非结构化数据越来越多,包括网络日志、音频、视频、图片地理位置信息等,这些多类型的数据对数据的处理能力提出了更高要求。
#4.Value (低价值密度)
价值密度的高低与数据总量的大小成反比。如何快速对有价值数据提纯”成为目前大数据背景下待解决的难题。
ps:大数据需要特殊的技术,以有效地处理大量的数据。适用于大数据的技术,主要有大规模并行处理(Massively Parallel Processing, MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统等。
三、大数据应用场景
#1.抖音:推荐的都是你喜欢的现频
#2.电商站内广告推荐:绐用户推荐可能喜欢的商品
#3.零售:分析用户消费习惯,为用户购买商品提供方便,从而提升商品销量。经典案例,纸尿布+啤酒。
#4.物流仓储:京东物流,上午下单下午送达、下午下单次日 上午送达
#5.保险:海量数据挖掘及风险预测,助力保险行业精准营销,提升精细化定价能力。
#6.金融:多维度体现用户特征,帮助全融机构.推荐优质客户,防范欺诈风险。
#7.房产:大数据全面助力房地产行业,打造精准投策与营销,选出更合适的地,建造更合适的楼,卖给更合适的人。
#8.人工智能+5G+物联网+虚拟与现实
四、大数据领域的引用
1.运营商业务
运营商掌握体量巨大的数据资源,单个运营商的用户每天产生的话单记录、上网日志等数据就可达到PB级规模。对于运营商而言,可利用大数据技术提升传统的数据处理能力,聚合更多的数据提升洞察能力,借助大数据提高诊断网络潜在问题的效率,改善服务水平,为客户提供更好的体验,获得更多的客户以及更高的业务增长。
2.金融业务
金融行业;是信息产业之外大数据的又-重要应用领域,大数据在金融的银行、保险和证券三大业务中均具有广阔的应用前景。总体来说, 金融行业的主要业务应用包括企业内外部的风险管理、信用评估、借贷、保险、理财、证券分析等,这些都可以通过获取、关联和分析更多维度、更深层次的数据,并通过不断发展的大数据处理技术,得以更好、更快、更准确地实现。大数据分析应用可以为金融机构提供统-的客户视图。
3.政务业务
大数据政务应用获得世界各国政府日益重视。我国政府也非常重视大数据的应用。《国务院关于印发促进大数据发展行动纲要的通知》(国发[2015] 50号)提出「大数据成为提升政府治理能力的新途径」,要「打造.精准治理、多方协作的社会治理新模式」。大数据应用着眼于提升政府提供公共产品和服务的能力。
4.交通领域业务
交通数据资源丰富,有实时性特征。在交通领域,数据主要包括各类交通运行监控、服务和应用数据。大数据应用系统可以基于对大数据的预测性分析,通过梳理影响安全畅通运行的各种原因,发现道路运行管理的内在规律,为交通管理决策、规划、运营、服务以及主动安全防范带来更加有效的支持。
5.电子商务业务
大数据开启了电子商务行业的时代转型。电子商务和传统商家最大的区别在于:电子商务构建的各类型数据库能够涵盖商家信息、户信息行业资讯、产品使用体验、商品浏览记录、商品成交记录、产品价格动态等海量信息。电子商务行业大数据背后隐藏的是电子商务行业的用户需求、竞争情报,蕴藏着巨大的财富价值。借助大数据挖掘与分析技术,电子商务不仅可以提高营销转化为购买行为的成功率,而且能降低营销成本,使产品更契合用户的需求,全面提升企业竞争力。
6.科学研究业务
科学数据是人类在认识自然、发展科技的活动中产生和积累的数据,是人类长期科学活动的知识积累,是一种重要的基础资源和战略资源。大数据时代,科学模式已经变革为「数据密集型科学」的科研范式阶段,部分学科领域的科研活动已经成为典型的大数据行为,科学技术人员有机会利用海量的科学数据探索世界,开展 此前无法进行的研究,解决此前难以解决的科学问题,产生突破性进展。
7.教育领域业务
教育领域大数据的主要目的是为不同利益相关者提供精准的教育服务,如学生的学习、教师的教学、课程开发者的资源开发、教育管理者的决策等。其核心是精准获取学习者的需求,为学习者提供精准教育服务。其数据主要来源于各类教育系统,包括学习管理系统、内容管理系统、电子档案系统、智能培训系统、社会性学习系统、实时教学系统、学习设计系统和学生信息管理系统等。
8.健康医疗领域业务
通过对医疗大数据的获取和分析,将数据与各级医疗平台进行实时共享,对分散医疗卫生机构的数据以及公众随身的健康医疗传感器数据进行快速、有效、可靠的采集,实现医疗卫生机构卫生数据的有效接入,这将对公共医疗信息化建设起到至关重要的作用。
五、大数据部门间业务流程分析
六、大数据部门组织架构