本次实践示例
1、主要是以Arcgis GeoAnalytics Server矢量大数据服务器来进行分析(Portal/ArcGISPro);
2、数据:2个千万级出租车数据,.csv文件,大小各2G+,包括经纬度、出租车基本编号信息,10几个属性字段,与规划中电力、设施等大数据类似;
3、Arcgis10.6(需要10.5以上环境)整体环境,配置了2台服务器节点,需要配置时空大数据DataStore;
设计架构(基于Arcgis):
操作截图
&&其中一部分数据,400多万记录。用arcgis pro打开后显示部分。
数据经过部署到服务器,开始进行大数据操作,以“聚合点”为示例。
&&&经过不到10分钟处理分析,完成大数据可视化分析,得到分析结果。
可以在Portal中查看到大数据文件共享BigDataFileShare.
结论解释
1、 大数据由于数据庞大,单纯的增加到arcgis等可视化界面渲染完全是CPU、GPU等可视化渲染,普通几百万在计算器够强劲时还可以显示,千万级数据是无法直接打开预览的,更别提做应用;
2、 大数据量全部加到可视化上,密密麻麻没有任何意义,其意义在于根据这些大数据提取出需要了解的信息来进行辅助决策,进而知识发现,大数据分析挖掘来实现各类分析;
3、 目前规划国土领域,以arcgis和超图软件为主,有很多实例,基本都是将大数据(实时大数据)进行部署处理,通过提取其中信息来进行分布式大数据分析,得到大数据可视化分析结果,不会单纯将全部大数据进行加载展示;
4、 Arcgis提供矢量大数据和遥感大数据支持,在性能上,除了基本金字塔切片外,还支持矢量切片、语义分析等,加快速度性能。
附录:提供几个Arcgis大数据实践实例
※※※ 大数据可视化主要以分析提取的有意义内容为主。
※※※ 2800多万条记录查询出60条记录,耗时83ms,性能也足够满足查询统计;
原创版权声明,网络图片如有侵权请联系作者删除,转载请说明出处,谢谢。