【企业信息化】
负责公司信息化实施管理工作近六年时间,有成功经验,也走过弯路(总的应该还不错,最少在同行业里,算前几名吧),下面就以财务主导的视角聊聊集团公司信息化建设的思路和方法。
沟通效率
ERP 是 Enterprise Resource Planning 的简称,指建立在信息技术基础上,以系统化的管理思想,为企业决策层及员工提供决策运行手段的管理平台
一、立足根本、明确目标
首先企业要明白,信息化不是样子工程,也不是救世主,信息化工程最终只是个管理手段和管理工具,可以锦上添花,可以快速提高企业管理水平,但不能脱离企业实际。所以信息化工程的建设与发展要做好两个结合:一是与企业管理水平相结合,二是与企业业务类型相结合。管理水平较弱就不要指望一步到位,比如以前公司就没有正经搞过预算管理,那全面预算的模块暂时就不要上。企业是多元化集团,上系统时就要注意兼容性,找开放性强的。
调查清企业实际情况,下一步就是明确目标。目标可以分成战略和战术两个层级,战略目标可以定的大一点,时间也可以长一点,五年十年规划都不奇怪。战略目标的目的是指明方向,少走弯路。战术目标就要定的细致,可操作性强,每一年到每一个月要做什么都要有详细计划。所以战术目标的制定者一定要了解企业经营和管理情况,信息化系统最终收效甚微,甚至失败一般都是制定计划时脱离实际所致。
二、从上至下,先易后难,
信息化建设必须是一把手工程,一位强而有力的领导支持是前提。因为信息化系统工程,涉及各公司所有部门、所有人员,没有领导大力推动根本无法进行。具体实施时也要自上而下的规划和推进,如果从下级公司先开始最后归集的信息就会五花八门,无法使用。
三、总体规划,分步实施
因为所在公司是个多元化的集团公司,规划时我们的第一目标是加强集团的集中管控能力,具体步骤是:
1、先上总账系统,总账系统是基础,先把所有公司的科目、主要账务处理方法,报表模版先统一,这样信息才方便归集和使用。
2、再上资金系统,资金是企业的血液,也是核心资源,把资金管住了,管理的抓手也就有了,通过资金系统还可以归集所属单位资金,集中调度使用,实现效益最大化。
3、合同管理,以前公司有大额合同管理制度,重大合同要审批,可下属单位上报时可能滞后甚至不报批,通过合同管理可以及时掌握下属公司经营动态,如果不报批,系统也可以控制(未经审批的合同资金系统可以控制使其无法对外支付)。
4、客商管理,客商管理有两个重要功能,一是通过客商管理系统对客商进行分级管理,那些客商是A级的,可以授信,那些客商是B级的,只能现货现款,通过系统都能控制,从而把控经营风险;二是通过客商管理与资金管理相结合,实现集中采购,比如可以指定几个客商为集团战略供应商,要求所属单位只能在这几家公司采购,在其他供应商采购的,资金无法支付,通过集中采购,提高议价能力,降低舞弊风险。
5、预算管理,预算管理也可以与总账系统结合发挥作用,超预算的支出,凭证无法生成(这是初级阶段,最好的管控是与供应链系统结合)。
6、人力资源管理,人力资源系统与总账、预算、资金系统结合,所属单位员工的调动,升降、进出都要经过上级审批,未经审批,工资无法发放,通过人力资源系统,可以最大限度的把人力资源管好。
四、用好人,用对人
信息化建设说起来容易干起来难,工作习惯一旦固化,想改变就很难,实施时阻力会很大。所以用对人很重要。上面要有懂行、懂管理的领导支持。中间要有负责能干的中层执行,下面要有一批管理员及时提交改进建议。这里要特别强调的是软件商的实施人员也很重要,现在的用友、金蝶等国内大的软件商都有一个问题就是人员流失太快,缺少懂技术又懂管理有实施人员,无法提供更多经验。一个好的实施人员对信息化工程意义重大。
五、做好个性化开发
信息化建设时面临的最大问题就是标准化的软件功能不能完全符合自己的需求,而完全定制开发的项目成本太高、周期太长、风险太大,而且开发者能力不足可能还不如标准化的产品。所以个性化开发是相对经济的选择。所谓个性化就是结合企业的实际情况进行开发,这时要注意的是开发的不能太随意,一要符合内控要求,二要符合系统要求。
六、推进业务财务一体化,做好风险控制
信息化工程最大的难点就是业财一体化,信息化建设失败一般都失败在这里。因为所谓一体化其实指的是信息一体化,业务信息与财务信息按说是互联互通的,财务信息来自业务信息,脱离业务论财务是无本之木;业务信息需要转化成财务信息(语言),才能让管理层更好的利用和掌握。我相信大多数企业的业务信息与财务信息都有不一致的现象,有时是及时性问题,有时就是管理问题,如果差距较大会影响信息披露的真实性,还会影响管理层的判断,进而产生经营风险。
业财一体化就是把业务信息与财务信息打通,业务信息无障碍的自动转化成财务信息,中间不得有人为的干预,这也是内部控制的基本要求。一体化的过程需要财务部门与业务部门共同推进业务流程的标准化、规范化、信息化。所以说一体化是一个流程再造的过程。实施人员光精通业务是不够的,还要有良好的沟通能力和管理能力。业务人员希望最大程度的自由,财务人员则希望按流程走,这是矛盾的。怎么平衡好就全靠实施人员的智慧了。
七、以财务为核心还是以业务为核心
这是个无解的问题,做为财务人员我当然想以财务核心,这样工作起来很方便,目前的国内软件商主流就是从财务角度做产品,因为一家公司的信息化往往就是从财务软件开始的,有了基础再推其他模块就会方便得多。可企业的核心永远是业务,如果业务需求得不到满足,实施阻力大事小,影响经营管理就麻烦了。所以以那个为核心还是要根据企业实际情况来,多元化的集团公司我个人建议还是以财务核心,可以最大限度发挥集中管控的功能。产品比较单一或者单体公司可以先从供应链开始,业务优先么。
通过几年的信息管理,我发现信息化建设对所有人尤其是财务人能力的提高与发展提供了一个极好的机遇,建议财务人员积极参与和推动企业的信息化进程,通过信息化,了解企业管理流程,提高管理经验和水平,最后提升自己。
【财务共享中心】
1)将标准化、重复性工作以共享模式进行;减少低价值员工投入;
2)解放财务人员,将精力投入到更有价值的管理会计工作。
3)形成企业的财务数据中心,为企业管理会计中预算、分析和决策提供有力的数据支持。
【全面预算】
预算,准确的说,不是数字,是方向。如果把预算当成数字的话,比如明年费用预算不超过100万,那么明年年末就会出现两种情况:上半年花钱多的,下半年要勒紧腰带;花钱少的,年末就会突击花钱。这种情况在企业中非常普遍,那么这100万就没什么意义了,反而会弄的大家很狼狈。预算不是数字,意思是说,不要盯住数字本身,这不重要;要盯住你的目标,这很重要。预算不就是为了实现目标所做的计划吗?如果最终能实现你的目标,就算最后多花了点钱,或少花了点钱,又有何妨?
全面性:费用预算、业务预算(销售预算、采购预算、生产预算、成本预算)、投资预算、筹资预算;
财务预算(利润预算、现金预算、资产负债预算)
【报销管理】
规则设定;什么员工申请什么级别服务;
报销单,附件发票真伪接口查询
分析,
报销超额预警;
【OA是办公管理,ERP资源管理】
OA 系统是 Office Automation 的简称,指利用电脑进行全自动的办公,可以帮助企业实现电子化审批流程、规范流程、沟通协作等业务,实现无纸化办公
ERP与OA有本质上的区别,它们的区别体现在以下方面:
1、系统定位的不同:
OA是一个整合了知识管理机制的门户。OA是个人的办公桌面,通过OA快速获取工作所需的各种有效信息,与组织成员随时随地进行实时工作协同、处理个人事务。
ERP内核是解决企业业务关系数据链,它的强大在于系统自身复杂的逻辑数据关系,能够为企业提供打开 “数据宝藏”的解决方案。
2、工作流定位的不同:
OA着重于行政结构上的审批,其中一个重要的特点之一就是强大的工作流定制功能,并且能提供一个较灵活的图形化定制工具,可以适应于企业各种形式的审批表单、流程的需求。
ERP产品的工作流更多实现的是业务上的逻辑数据流,对于国内很多无法摆脱行政审批结构的企业来说,ERP软件在这一方面就显得逊色。
3、适用性的不同
OA工作流定制的强手,属于普及型的大众应用;
ERP系统是挖掘企业内部业务数据的高手,属于专业化操作的应用。
4、工作流定制的不同
OA图形化界面配置流程、方便、灵活;
ERP工作流定制工具庞大、边界条件多。
OA满足多层次的审批结构和支持复杂的审批层次;
ERP审批架构较为简单、审批层次较浅。
【实物资产管理EAM】
EAM (Enterprise Asset Management)即企业资产管理,是以企业有形资产(生产设备、厂房设施、交通工具、库存等)为管理对象,以降低总体维修成本、提高维修效率和实现企业利润最大化为目标,融合先进设备维护管理思想,集企业各项设备管理功能为一身,并能对企业各种维修资源进行有效协调与控制的计算机管理信息系统。
EAM是以资产模型、设备台帐为基础,强化成本核算的管理思想;以工单创建、审批、执行、关闭为主线,合理、优化地安排相关的人、财、物资源,将传统的被动检修转变为积极主动的预防性维修;与实时的数据采集系统集成,可以实现预防性维护。通过跟踪记录企业全过程的维护历史活动,将维修人员的个人知识转化为企业范围的智力资本。集成的工业流程与业务流程配置功能,使得用户可以方便地进行系统的授权管理和应用的客户化改造工作。
EAM的优势
在传统设备维护观念和手工作业手段的束缚下,设备管理维护目前存在众多问题,如:不能统一调配及综合利用资源;缺乏先进高效的维护计划编制、反馈和控制手段;不能有效进行成本控制;缺乏对设备及其备品备件基础数据的统一规范管理和控制等。
相比传统的管理体系,EAM的优势有:
- 量化设备资产管理,规范工作流程
- 减少设备停机时间
- 增加设备使用效率
- 降低备件库存及成本
- 提高有效工作时间
- 借助系统的帮助,维修管理人员可以管理更多的设备
- 实现资产管理信息化,更有效地配置生产设备、人员及其他资源
- 更好地贯彻ISO9000,符合行业和政府部门的法规
- 改善工人安全保障,促进规程执行,减少停产时间
10.建立清晰、动态的设备数据库,提高设备利用率和可靠性,控制维护、维修费用,延长设备生命周期
总结
建立一个优秀的EAM系统是企业实现全方位了解所有设备资产、发掘设备资产内部未被充分利用的潜力、达到设备资产全寿命周期费用最低目标的必然选择,是实现设备资产管理可视化、可控化及自动化的关键,也是企业逐步实现设备资产管理信息化、成功实现智能化制造并推动“中国制造2025”的最佳方法。
同样的购买日期设备,为什么你发生的维修费比别人多一倍;
同样的工作距离,为什么你的耗油是被人的两倍;(偷油、漏油)
【供应链管理SCM】
采购: 供应商供货管理、供应商比价;
库存管理:
销售管理:客户授信管理,客户信用管理,客户回款管理
客户供货管理,防止供应错误。
存货管理 出库成本管理、计价方式管理
应收管理 客户回款管理、账期管理
应付管理 供应商付款管理、账期规划;
【主数据管理MDM】
MDM Master Data Management
【CRM管理】
以客户为中心是CRM的核心所在,其核心思想是以数据为基础,指定营销策略、通过满足客户个性化的需求,提高客户满意度、忠诚度、缩短销售周期,降低销售成本,增加收入,扩展市场,实现企业价值最大化。
CRM系统类型:运营型、协同型、分析性
分析性CRM: 核心需求
注重资料完整性,强调客户往来记录。
强调客户价值分析/消费行为/消费心理。
客户全面关怀
CRM系统目标
主流CRM系统的目标是实现运营收入的增长,严格的讲,应该是收入预期的增长。从经济学的角度来讲,收入预期不是一个值,而是一种分布,这就引入了“风险”的概念。所以,CRM系统的目标需要同时考虑风险和收入预期这两个因素。简而言之,CRM系统的目标应该是:
- 实现收入预期最大化。
- 提高收入预期置信度。
CRM系统目标拆解
实现预期收入最大化这个目标可以从四个方面入手:
- 增加客户数量。
- 提升高质量客户占比。
- 提高服务频率以及延长服务时间。
- 提升运营人员服务效率,即“人效”。
新环卫应用情况
客户信息管理
项目阶段管理
费用花费管理
合同签订管理
竞争管理
高层互访:商务考察、
报表管理
【生产制造】
MRP发展经过了好几个阶段,从MRPII到目前的ERP在不断完善。
MRP的逻辑处理了从毛需求到净需求的运算过程,最终实现供需平衡,也就是解决了何时需要?需要多少?需要什么?从数量和时间上把最终产品的交货期展成零部件的需求时间表和数量,经过一定的数据转换为生产计划和采购计划提供数据参考。
运算步骤要根据成品的BOM架构,以及自制和外购的不同属性来计算,一般都是从MPS开始逐层往下根据BOM的用量汇总到原材需求
【EBC】
国际著名研究机构Gartner提出了一个新的概念叫做EBC,Enterprise Business Capability(企业业务能力)
EBC将成为企业的一种战略资源,成为一种全新的业务能力,IT就是业务,业务就是IT,我们不能再用基于二十世纪六十年代的想法和系统来支持云计算时代的迫切需求。
EBC相对于传统的ERP,在AI驱动、以数据为中心、消费化、人力增强、赋能、面向客户等六个方面展现它与众不同的能力。
Gartner提出一个公式,
Capability(业务能力)=Mindsets(思维模式)+Technology(数字化技术)+Practices(企业实践)
我改成了
Capability(业务能力)=Mindsets(思维模式)*Technology(数字化技术)*Practices(企业实践)
【电子采购平台】
意向供应商注册账户,
录入资质信息;
提供报价,
进行下一步洽谈,
是否中标通知;
采购申请—>采购方案—>方案执行—>分标分量
供应商订单确认
供应商维护到货计划
到货/入库/发票/合同查询。
【大数据】
海量数据收集、加工、清理、分析;
【云】
云是将服务器虚拟化,形成虚拟资源池,相比于以前的物理机更加节省资源成本,便于管理。云是计算、存储、网路资源池化的概念。我们每天使用的搜索引擎、邮箱、网盘,就是很标准的云,而这大多都是免费的。云是对互联网的升级,意味着互联网并不仅仅是存储数据,而是为你提供某种服务。云计算、云存储、云服务、云平台等就是利用云通过一堆机器经过网络组合到一起的不同形式,是云下面的子概念。总的来说就是,云服务=云平台,云服务=云计算+云存储!
LaaS :基础设施即服务 Infrastructure as a Service
应用举例:基于internet的服务(提供存储或数据库);
PaaS :平台即服务 Platfrom as a Service
将服务器平台或开发环境作为服务进行提供。
SaaS :软件即服务 software as a service
ERP云化、软件服务;
【云平台】
云平台(cloud platforms)的出现是该转变的最重要环节之一。顾名思义,这种平台允许开发者们或是将写好的程序放在“云”里运行,或是使用“云”里提供的服务,或二者皆是。至于这种平台的名称,现在我们可以听到不止一种称呼,比如按需平台(on-demand platform)、平台即服务(platform as a service,PaaS)等等。
云存储—云服务—云计算—云服务
云平台
云存储:QQ聊天记录、邮箱、网盘
云服务:生日提醒
云计算:支付宝账单、用户行为偏好(头条代办);
软件云化,降低用户端硬件资源配置(软件云化、ERP等)
【云计算 】
云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问, 进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。
,云计算甚至可以让你体验每秒10万亿次的运算能力,拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心,按自己的需求进行运算。
【集群】
集群Cluster,通过集群技术,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益,其任务调度则是集群系统中的核心技术。
集群是一组相互独立的、通过高速网络互联的计算机,他们构成了一个组,并以单一系统的模式加以管理。一个客户与集群相互作用时,集群像是一个独立的服务器。集群配置是用以提高可用性和可缩放性。
【甲方顾问的价值】
1、 业务与产品的桥梁;
把业务部门的需求翻译给软件,对需求实现效果把关。
2、 站在业务价值的角度要求产品。(乙方很多时候为了交付)
上线的功能并非越多越好,而是要看能否解决业务需求,产生价值;
3、 实施交付后运维,甲方顾问更能深入公司业务需求,且相对成本较低。
【产品数据管理PDM】
PDM 是 Product Data Management 的简称,一种帮助工程师和其他人员管理产品静态数据和产品研发过程的工具,确保跟踪设计制造所需大量数据和信息,并由此支持和维护产品。
【数据仓库与数据库区别】
什么是数据仓库?
数据仓库(Data Warehouse),可简写为DW或DWH,数据仓库,是为了企业所有级别的决策制定计划过程,提供所有类型数据类型的战略集合。它出于分析性报告和决策支持的目的而创建。为需要业务智能的企业 ,为需要指导业务流程改进、监视时间,成本,质量以及控制等;
数据仓库能干什么?(举几个栗子)
年度销售目标的制定,需要根据以往的历史报表进行决策,不能随便制定。
优化业务流程
例如:某电商平台某品牌的手机,在过去5年主要的的购买人群的年龄在什么年龄段,在那个季节购买量人多,这样就可以根据这个特点为目标人群设定他们主要的需求和动态分配产生的生产量,和仓库的库存。
数据仓库的特点
数据仓库是面向主题的。
与传统的数据库不一样,数据仓库是面向主题的,那什么是主题呢?首页主题是一个较高乘次的概念,是较高层次上企业信息系统中的数据综合,归类并进行分析的对象。在逻辑意义上,他是对企业中某一个宏观分析领域所涉及的分析对象。(说人话:就是用户用数据仓库进行决策所关心的重点方面,一个主题通常与多个操作信息型系统有关,而操作型数据库的数据组织面向事务处理任务,各个任务之间是相互隔离的);
数据仓库是集成的。
数据仓库的数据是从原来的分散的数据库数据(mysql等关系型数据库)抽取出来的。操作型数据库与DSS(决策支持系统)分析型数据库差别甚大。第一,数据仓库的每一个主题所对应的源数据在所有的各个分散的数据库中,有许多重复和不一样的地方,且来源于不同的联机系统的数据都和不同的应用逻辑捆绑在一起;第二,数据仓库中的综合数据不能从原来有的数据库系统直接得到。因此子在数据进入数据仓库之前,必然要经过统一与综合,这一步是数据仓库建设中最关键,最复杂的一步,所要挖成的工作有:
要统计源数据中所有矛盾之处,如字段的同名异议、异名同义、单位不统一,字长不统一等。
进行数据的综合和计算。数据仓库中的数据综合工作可以在原有数据库抽取数据时生成,但许多是在数据仓库内部生成的,即进入数据仓库以后进行综合生成的。
数据仓库的数据是随着时间的变化而变化的。
数据仓库中的数据不可更新是针对应用来说的,也就是说,数据仓库的用户进行分析处理是不进行数据更新操作的。但并不是说,在从数据集成输入数据仓库开始到最后被删除的整个生存周期中,所有的数据仓库数据都是永远不变的。
数据仓库的数据是随着时间变化而变化的,这是数据仓库的特征之一。这一特征主要有以下三个表现:
数据仓库随着时间变化不断增加新的数据内容。数据仓库系统必须不断捕捉OLTP数据库中变化的数据,追加到数据仓库当中去,也就是要不断的生成OLTP数据库的快照,经统一集成增加到数据仓库中去;但对于确实不在变化的数据库快照,如果捕捉到新的变化数据,则只生成一个新的数据库快照增加进去,而不会对原有的数据库快照进行修改。
数据库随着时间变化不断删去旧的数据内容 。数据仓库内的数据也有存储期限,一旦过了这一期限,过期数据就要被删除。只是数据库内的数据时限要远远的长于操作型环境中的数据时限。在操作型环境中一般只保存有60~90天的数据,而在数据仓库中则要需要保存较长时限的数据(例如:5~10年),以适应DSS进行趋势分析的要求。
数据仓库中包含有大量的综合数据,这些综合数据中很多跟时间有关,如数据经常按照时间段进行综合,或隔一定的时间片进行抽样等等。这些数据要随着时间的变化不断地进行从新综合。因此数据仓库的数据特征都包含时间项,以标明数据的历史时期。
数据仓库的数据是不可修改的。
数据仓库的数据主要提供企业决策分析之用,所涉及的数据操作主要是数据查询,一般情况下并不进行修改操作。数据仓库的数据反映的是一段相当长的时间内历史数据的内容,是不同时点的数据库快照的集合, 以及基于这些快照进行统计、综合和重组的导出数据,而不是联机处理的数据。数据库中进行联机处理的书库进过集成输入到数据仓库中,一旦数据仓库存放的数据已经超过数据仓库的数据存储期限,这些数据将从当前的数据仓库中删去。因为数据仓库只进行数据查询操作,所以数据仓库当中的系统要比数据库中的系统要简单的多。数据库管理系统中许多技术难点,如完整性保护、并发控制等等,在数据仓库的管理中几乎可以省去。但是由于数据仓库的查询数据量往往很大,所以就对数据查询提出了更高的要求,他要求采用各种复杂的索引技术;同时数据仓库面向的是商业企业的高层管理层,他们会对数据查询的界面友好性和数据表示提出更高的要求;
数据仓库和数据库的区别
想了解区别之前,我们需要了解三个概念,数据库软件、数据库和数据仓库是什么?
数据库软件:是一种软件(并不是链接数据库的图形化客户端)。用来实现数据库逻辑过程,属于物理层。
数据库:是一种逻辑概念,用来存放数据的仓库,通过数据库软件来实现。数据库由很多表组成,表是二维的,一张表里面有很多字段。字段一字排开,对数据就一行一行的写入表中。数据库的表,在于能够用二维表现多维的关系。如:oracle、DB2、MySQL、Sybase、MSSQL Server等。
数据仓库:是数据库概念的升级。从逻辑上理解,数据库和数据仓库没有区别,都是通过数据库软件实现存放数据的地方,只不过从数据量来说,数据仓库要比数据库更庞大德多。数据仓库主要用于数据挖掘和数据分析,辅助领导做决策;
在IT的架构体系中,数据库是必须存在的,必须要有地方存数据。比如现在的网购等电商。物品的存货多少,货品的价格,用户的账户余额之类的。这些数据都是存放在后台数据库中。或者最简单的理解,我们现在的微信、微博和QQ等账户和密码。在后台数据库必须是一个user表,字段起码有两个吗,即用户名和密码,然后我们的数据就一行一行的存在表上面。当我们登录的时候,我们填写了用户名和密码,这些数据就会回传到回台去,去跟表上面的数据匹配,匹配成功了,就能登录。匹配不成功就会报错,这就是数据库,数据库在生产环境就是用来干活的。凡是跟业务有关应用挂钩的,我们都使用数据库。
数据仓库是BI下的其中一种技术。由于数据库跟业务应用挂钩的,所以一个数据库不可能装下一家公司的所有数据。数据库的表设计往往是针对某一个应用进行设计的。比如刚刚的登录功能,这张user表上就只有这两个字段,没有别的字段了。到那时这张表符合应该,没有问题,但是这张表不符合分析。比如我想知道在哪个时间段,用户的量最多?哪个用户一年购物最多?诸如此类的指标。那就要从新设计数据库的表结构了。对于数据分析和数据挖掘,我们引入了数据仓科概念。数据仓库的表结构是依照分析需求,分析维度,分析指标进行设计的。
数据库与数据仓库的区别实际讲的是OLTP与OLAP的区别。
操作型处理,叫联机事务处理OLTP(On-Line Transaction Processing),也可以称面向交易的处理系统,它是针对具体业务在数据库联机的日常操作,通常对少数记录进行查询、修改。用户较为关心操作的响应时间、数据的安全性、完整性和并发的支持用户数等问题。传统的数据库系统作为数据管理的主要手段,主要用于操作型处理。
分析型处理,叫联机分析处理OLAP(On-Line Analytical Processing)一般针对某些主题历史数据进行分析,支持管理决策。
数据仓库:数据仓库系统的主要应用主要是OLAP(On-Line Analytical Processing),支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。
数据分析:一般指对数据进行研究的方法和过程。
商业智能:是指将数据分析商业化、信息化,实现商业价值的企业信息化建设过程。
数据分析将经历明确目标、收集、处理、探索、展现、发现问题这几个步骤。
云在数字时代,犹如电在工业时代。中国企业和个人的云化才刚刚起步。未来如同用电量在工业经济中的指标作用一样,用云量也会成为数字经济的重要指标。
首先从企业信息化发展阶段时,数据平台结构的程度来看。个人依照企业信息化,
将数据平台阶段划分为:
只有业务数据库——>中间库——>完善数据仓库(DW)——>数据集市(Data Mart),顺序与阶段并不绝对正确,可能有组合,可能所在阶段不完全一致。以下先看各个数据平台阶段特点,再看对应阶段数据分析工具选型的考虑吧。
1.业务数据库
一个企业IT信息化建设最初的阶段,业务库中数据量不大,要分析展示下数据情况啦,不慌,问题不大,这时候OLTP结构下也可以写写SQL快速展现,随便玩玩office工具也没问题。
但是随着时间的推移,各种问题开始出现:
(1)查询和写入频率越来越高,高频write和和长时间read冲突越来越严重。而数据分析要耗费大量计算资源,不能动不动挂业务系统吧。
(2)数据量越来越大,历史业务数据啦,新业务数据激增啦,第一要务就是要解决业务应用效率问题了,谁管数据分析里的问题呢。
(3)业务越来越多,表结构越来越复杂。业务系统数量的越来越多,导致数据孤岛开始形成。
这种情况下,企业面临数据展示与数据平台建设的阶段了要怎么处理。这种情况下要做数据分析就麻烦了,要人为去各个系统取数,人力是一个方面。各个系统口径命名啥都有差异,人为的处理出错率高就是另一方面。
2.中间库
由于上述问题,就要引入中间库来处理。左图结构解决了高频write和read冲突问题,以及单数据库服务器性能问题,顺手也搞定了数据备份。这种情况下呢简单查询还是可以的,但是在转换聚合等需要多表关联、以及大数据量等业务复杂度高的情况下,其处理性能就不容乐观了。
此时就开始考虑可以利用空闲时间的服务器性能来做预先处理呢。右图这种T+n的预处理离线计算的架构就出现了,引入独立的任务调度和计算引擎:计算压力可以交给数据库处理,也可交给ETL处理,展现性能初步解决。
但是这种情况下,数据库表结构实在太过复杂,每做一个分析,就要理一次业务逻辑、写一段sql,还没法进行历史追溯,以及数据整理成果的复用,so sad。
那有没有理一次之后,后续能够省点事的方式呢?这时候数仓的概念就可以使用上了。
3.完善数据仓库(DW)
把业务库数据整理成星型结构,保证了事实的积累和维度的追溯。自由选择需要的维度和相关事实进行筛选计算,麻麻再也不用担心每次写sql都要去看“蜘蛛网”了。还有索引、结果表、分区分表等等黑科技来保证每次查旬需扫描的数据量最小,解决数据库性能问题,~^o^~。
当然这种架构方式的缺点也很明显,不是企业内一致的数据(多系统,多主题数据不一致),就会产生信息孤岛。当然,如果客户企业就是很小,就一个系统,不用整合,一个数据集市足以的情况下采用这种方式也可以。常见情况是会在各个独立的DW间建立一些对照表,可实现数据交换。如果多个DW间没有物理隔绝,也可以形成EDW。
4.完善数仓+数据集市(Data Mart)
为了实现各个业务系统取数分析,或者做更多操作,就实现中心数据仓库EDW从各个源系统收集数据,再将数据提供给各个数据集市和挖掘仓库使用。这也被称为企业信息工厂架构(CIF),一般情况下,大型企业会花费许多精力实现这类架构。
业务复杂度的提高与数据量级的增大以及对这些数据的应用,促成了各个大数据平台的繁荣,这个放到另一篇文章陈述。
无论是以什么架构存在,数据展示的需求都必不可少。分析工具选择必不可少,要在以上阶段以一款工具涵盖,那必然需要一款既可以做敏捷数据集市建模,又可以做数据展示分析的工具来处理。这种工具可对业务数据进行简单、快速整合,实现敏捷建模节省时间,并且需要可以大幅提升数据的展示速度。可对接前端的数据分析展示层,实现自由数据展示与OLAP分析。FineBI与其高性能数据引擎在以上几个阶段均可在不同程度解决很多场景。
(1)业务数据库阶段,此阶段已经陈述过,重点问题就是计算性能影响大,以及数据孤岛问题。建立数仓的过程相对敏捷数据集市而言,时间还是久的。这个时候就看看建立个常规意义的数仓和数据展示需求谁更紧急啦,或者可能有的也没建数据平台的意识也说不准。此时快速的数据展示需求,就可以通过将数据放到FineBI的数据引擎中支撑实现。
(2)中间库与完善数仓阶段,此阶段其实主要就是计算性能问题了,用户的数据量级也一定挺大了。正好借助于FineBI的分布式引擎,完成数据加速计算工作。此引擎属hadoop生态,核心计算引擎利用的spark,借助了alluxio作为内存加速计算,处理了大数据计算问题,也很好阐释了【大数据】。这个在另一文章中也会说到,这里不赘述啦哈哈。
此阶段呢,肯定有一些响应时间要求较高的展示需求,多次作业同步可能带来延迟影响。而FineBI的引擎扩展了kettle的插件,实现数据可以直接load到引擎中,倒是将麻烦的作业处理工作解决了。
(3)完善数仓+数据集市阶段,这种阶段数据平台建设已经很完善了,各业务部门数据量级,业务复杂度都很高。
底层技术上虽然数据集市是建立在集成的中心数据仓库EDW上,但是这些数据集市之间还是不能进行数据交换的,大家建立的方法和ETL程序都会不同,各个数据集市之间的数据不见得的是一致,且平台架构超级复杂,扩展以及再为各业务部门设计计算层结果表之类都相对麻烦。此时可考虑部分需整合数据放到敏捷数据集市处理,可直接对接的再直接对接处理。FineBI的引擎恰好都满足这样的场景需求,前端OLAP分析恰好也有,简单处理整合展示一站式解决。
ETL (extract-transform-load) 提取—转换—装载
OLTP (on-line transaction processing )联机事务处理,在线事务处理
OLAP(On-Line Analytical Processing)在线分析处理
做BI的优与劣
优
1、 懂业务系统;
2、 具有帆软经验;
3、 喜欢数据分析的活;
劣
1、 DBA功底略弱。
做过DBA就能做BI吗,不一定? 不一定比做过业务再去做BI简单。
以前都是想着成熟企业才会上BI,但现在不一样,BI很成熟,可以直接对接任意格式源数据。
且BI的顺利使用,会倒逼企业把ERP等相关系统搭建起来;
咨询公司角度需求调研方法培训研讨会
Issue指的是一项待完成的工作,通常与系统的改进相关。翻译为中午即“问题”,另一种说明“事务”。例如 一个软件bug、一项功能建议、一项待完成任务、文档说明缺失报告。
UAT:User
Acceptance Test 用户验收测试, 又称红灯测试;
SIT: System Integration Testing 系统集成测试 ,又称绿灯测试;