数据分析师群体,有别于一般的传统开发群体和数据库运维群体,对Sqlserver的功能需求上也各不相同,本篇以笔者的亲身经历,用一种有别于一般性教程的角度来讲解Sqlserver值得我们学习,投入产出比高的一些功能模块。
当然,知道地越多,能够产生的价值也越大,在平衡投入产出比的前提下,越往深入学习,在特定时候会产生成倍的回报。
相关阅读
「Sqlserver」数据分析师有理由爱Sqlserver之一-好用的插件工具推荐 - 简书 https://www.jianshu.com/p/637aba4aeee5
「Sqlserver」数据分析师有理由爱Sqlserver之二-像使用Excel一般地使用Sq... - 简书 https://www.jianshu.com/p/b40f8a36055e
数据分析师的定义
虽然真正意义上的数据分析师是很高级的分析水平,也有超强的学习能力,大不必来阅读笔者所写的这些不太有营养的入门读物。
但就像市面上大家都对一个小软件叫系统,一个简单进销存叫ERP一样,大家对数据分析师的称号也是很大的宽容,类似笔者这样一个三流分析水平,经常各种方向到处寻觅的各种知识领域的人,也能叫上个数据分析师的头衔。
本篇的定义的数据分析师也同样是宽泛的,可能只是一个普通数据文员,统计员的角色,但谁都是从普通工作做起,普通数据统计慢慢爬升起来的,笔者也相信这些分享也可以帮助许多的没有明确方向指引的、在数据领域摸爬滚打的人群带来一些帮助的。
数据分析师的刚需
普通的数据分析师,在数据量不大的情形下,使用Excel是一个很不错的选择,但数据量一大,Excel的性能也开始出现瓶颈,就算是现在自助式BI技术的普及,对于定位为单机版的Excel、ACCESS、PowerBIDesktop等工具来说,仍然容易存在性能的瓶颈。
所以,笔者对数据分析师的刚需理解为:数据存储和数据查询与处理方面的相关功能。对应于Sqlserver的使用场景是,能够帮我们把数据顺利地把手头上的数据放到数据库中集中式存放,当要使用时,可以将其重新导出,并且可以适当地作一些加工处理如多个表关联查询,数据颗粒度的汇总聚合等。最终可以有很好的载体来承接这些数据如导出至Excel表格或导入到PowerBI模型或其他SPSS、python等更专业的分析软件或工具中。
总结为Sqlserver上的功能掌握为:数据导入导出、会使用SQL查询数据,知道怎样使用其他软件工具访问Sqlserver数据。
数据分析师的进阶需求
有了前面的一些简单掌握后,基本可满足自身的数据分析需求,但如果需要更加自动化、更灵活安全地数据分发、对数据运算性能的更多地优化,也是需要继续学习Sqlserver的其他一些企业级的功能知识点的。
企业级IT主导和个人部门级业务主导很大的差异点在于企业级的解决方案可满足到:数据权限控制,流程自动化处理,流程稳定性保障,性能并发性满足等等,这些都是单机版文件型的解决方案所难于满足到的。
所以进阶性的需求对应于Sqlserver的知识点为:登录名、用户名的运维,各数据表、视图、存储过程等数据库对象的权限授予分发,查询性能的优化如索引的添加维护、复杂SQL查询的创建,特别是专为数据分析师准备的数据分析窗口函数非常有必要完全掌握,还有一些自动化调度作业系统的使用满足流程的自动化。
数据分析师较少需要关注到的方面
因数据分析的场景不像生产数据环节的业务系统那般高要求,例如不能随便出错,没有机会让你随便死机后重启系统,应对大量用户的高并发查询请求和数据增删改查任务,所以往往一些教材上谈及的高级的功能,对数据分析的群体来说,都是非常少的应用面和非常不实用的知识。
例如:数据库锁机制、触发器、事务、游标、高性能查询优化、日志的维护等等。这些知识点如果在学习过程中遇到,笔者认为只需略略地带过,了解一下即可。
更合理的方案是数据分析使用的数据库,与业务系统的数据库分离,一般专业一点的叫法是组建一个数据中心或数据仓库,专门用于数据分析的查询性需求(这个一般专业做法是使用BI系统中的数据ETL工具,将数据从生产性环境同步一份到分析服务器上)。
有了专门不受生产环境影响的数据仓库,再怎么出错,也最多重启一下,数据不会因这短暂的停止而影响业务进展,同时一般分析性的数据仓库,并发性访问也不高,也无需苦苦地为了优化一个查询从100秒的等待时间优化为1秒这种需要大量的知识储备和专业知识才能完成的高难度任务。
结语
经过以上的简单梳理,再结合上两篇提及的Sqlserver的使用方式(尽可能地使用界面化操作完成降低难度和大量使用外部工具插件提升SQL书写的便捷性),自己再入门一些简单的教程和示例(微软MSDN和微软Learn等资源已经非常丰富,易学),相信对于一名数据库新手来说,要往数据分析师方向发展,往前迈出一步学习下Sqlserver也不会是太难的事情。
当然笔者也会在日后有限的时间内,尽量分享一些简单易行、功能强大的个人的知识输出和观点分享,相信是除了系统学习外一个很好的补充,祝读者朋友们在学习上一路顺利,有问题多回来交流。如果觉得受用,也请多多帮忙传播分享给有需要的人。
笔者未来聚焦在数据领域的分享,不限于Excel,会分享更多Sqlserver、dotNET、Azure、PowerBI等话题,升级数据分析的能力,欢迎继续关注。