数据分析之维度标准化

• • 1、python爬虫requests的简单实现
  • 2、访问高德地图API，返回查询信息
    • 曲折实现的原因
      • 经过本人对官方文档的demo进行调试，有些地址直接地理编码，返回的结果没有行政区域
      • 所以曲线救国，采用了先获取该地址的经纬度，再获取该地址的行政区域和编码
    • 实现步骤
      • （1）输入地址，返回经纬度
      • （2）输入经纬度，返回行政区域和行政编码
      • （3）python连接数据库
      • （4）python读取数据库中的数据
      • （5）python开始循环查询行政区域和行政编码，查不到经纬度的跳过
      • （6）python将查询到的信息插入相应的数据库
  • 3、代码
    • 　　访问接口

      • import requests
        import json
        
        
        #传入地址，返回对应的经纬度信息
        def getLocation(address,key):
            
            
            url = 'https://restapi.amap.com/v3/geocode/geo?key=%s&address=%s'%(key,address)
            res = requests.get(url)
            try:
                # 将 JSON 对象转换为 Python 字典
                json_data = json.loads(res.text)
                #取字典里的localtion的值，将键放到方括号里
                location=json_data['geocodes'][0]['location']
            except:
                location=''
                #print("没有location")
            return location
        
        #传入经纬度，返回
        def getADaddress(location,key):
            longitude=location.split(',')[0]
            latitude=location.split(',')[1]
            #url = 'https://restapi.amap.com/v3/geocode/regeo?key=%s&location=%s'%(key,location)
            url ='https://www.amap.com/service/regeo?longitude=%s&latitude=%s'%(longitude,latitude)
            res = requests.get(url)
            # 将 JSON 对象转换为 Python 字典
            json_data = json.loads(res.text)
            #取字典里的ADaddress的值，将键放到方括号里
            """province=json_data['regeocode']['addressComponent']['province']
            city=json_data['regeocode']['addressComponent']['city']
            district=json_data['regeocode']['addressComponent']['district']
            adcode=json_data['regeocode']['addressComponent']['adcode']
            ADaddress=[province,city,district]
            data=[adcode,ADaddress]"""
            ADaddress=json_data['data']['desc'].split(',')[0]+json_data['data']['desc'].split(',')[1]+json_data['data']['desc'].split(',')[2]
            adcode=json_data['data']['districtadcode']
            data=(adcode,ADaddress)
            return data
            
        
        def getData(key,address):
            location=getLocation(address,key)
            try:
                data=getADaddress(location,key)
            except:
                data=('','')
                #print("location传入失败")
            return data

      • 数据库操作
        • 　　

          import mysql.connector
          
          
          def conn():
              mydb = mysql.connector.connect(
                host="localhost",
                user="xxxx",
                passwd="xxxx",
                database="xxxxx"
              )
              return mydb
          
          def getData(mydb):
              mycursor = mydb.cursor()
               
              mycursor.execute("SELECT xx, xxxx FROM xxxxx ")
              
              myresult = mycursor.fetchall()
               
              return myresult
          
          def update(mydb,val):
              mycursor = mydb.cursor()
               
              sql = "UPDATE xxxxx SET xxxxxx = %s ,xx= %s WHERE xx = %s"
               
              mycursor.execute(sql, val)
               
              mydb.commit()
               
          
              

        • Client
          • 　　

            import MapStudy
            import MySql
            
            if __name__ == '__main__':
                key='e1f2ea153a4d6c972194944737a5bd0d'
                list1=MySql.getData(MySql.conn())
                for i in range(len(list1)):  
                    address=list1[i][1].split()[0]
                    #print(address)
                    #print(type(address))
                    datasimple=MapStudy.getData(key,address)
                    #元组相加还是元组
                    list1[i]=list1[i]+datasimple
                    print(list1[i])
                    val=(list1[i][2],list1[i][3],list1[i][0])
                    MySql.update(MySql.conn(),val)
                
                

  • 4、教训：
    • （1）在做中学，针对实例，先跑通，会使用，之后再来理解其中的每一部分的含义和内容
    • （2）官方文档不一定适合小白，前人经验或许更有用
    •   (3)根据经纬度返回行政区划和行政区划编码,使用官方提供的接口,当值为空时,会返回list,对于我们数据的处理,增加了判断的复杂性
      • 解决方案
        • 使用网上找到的一个访问接口:
          • 'https://www.amap.com/service/regeo?longitude=%s&latitude=%s'%(longitude,latitude)
  •  5、总耗时
    • 　　2020年3月12日6.5h
    • 　　2020年3月13日3h52m7s