• 优达学城数据分析师纳米学位——P3项目知识点整理及代码分析


     P3 OpenStreetMap 项目思路整理

    P3项目的核心在于数据的整理 data cleaning 数据清洗,数据来源于开源的OpenStreetMap平台,该平台上的很多数据都是开发者自行输入的,难免会造成数据的混乱和缺失,错误,也就是所说的dirty data 脏数据 human involved

    data cleaning的关注点 validity completeness accuracy consistency uniformity 

    validity 有效性 数据是否符合常理 人名不应该是数字

    completeness 完整性 数据记录表格中的数据是否记录完整

    accuracy 准确性  数据是否符合实际情况 一个国家的人口值,国土面积

    consistency 一致性

    uniformity 统一性  单位是否统一

    项目评估准则 中的地图中遇到的问题:

    举例 :使用蓝图的实例中  使用编写的audit()函数来统计道路名称的种类  代码使用了cElementTree 正则表达式(正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配)

    图1. 统计所用的audit()函数代码

    图2. 部分统计结果

     

    XML (Extensible Markup Language)数据处理基础: 

    1. XML 与 HTML 关系: XML用来存储和传输数据 HTML用来展示数据 (XML可以自定义标签,具备自我描述性)

                 XML将数据从HTML文件中分离出来,简化数据的传输,共享,更新

     

    一个XML文件的示例 简单的一个便签文本

    标签是处理的核心,读懂标签就能够对数据进行整理分类

     

    树形结构文档 根元素,子元素,元素的属性

    shil

    构建http请求:待完成

     OSM XML 文件基础:

    1.迭代解析 创建一个tag标签,初步了解一个数据集的标签总数,通过逐一解析标签来完成数据分析工作总而避免将数据全部导入到内存中占据过大的内存空间。 使用解析器 parsing service.

  • 相关阅读:
    loadRunner运行场景时,事务数为0或是只显示添加的事务的数
    loadrunner12自带的机票预订服务,解决httpd: Could not reliably determine the server's fully qualified domain name 问题
    Loadrunner12的下载和安装
    【AI测试】人工智能 (AI) 测试--第二篇
    【AI测试】人工智能 (AI) 测试--开篇
    CVAT 用户指南
    List of devices attached 没有手机设备号 解决办法
    Pip安装Django超时(time out)解决方法
    ipsec_笔记
    cisco 2600(转)
  • 原文地址:https://www.cnblogs.com/kong-xy/p/6361879.html
Copyright © 2020-2023  润新知