宝马中国官方网站服务站点信息爬去记录（解析json中数据）

具体步骤：

1、进入宝马官网，查找经销商查询界面

http://www.bmw.com.cn/cn/zh/general/dealer_locator/content/dealer_locator.html

2、使用火狐浏览（需要安装Firebug和HttpFox）

找到json数据存储位置：https://secure.bmw.com.cn/cn/_common/_js/dealer_locator/dealer_locator.json

3、查看json数据以后，json中包含省份，城市，店面类型，经销商信息，并且发现里面的经销商数据中包含地域的编号信息，所以决定制作省份字典、城市字典、类型字典，并且和经销商中数据进行比对输出。

4、得到省份信息主要代码：

    def get_province_dict(self):
        province_dict={}
        #创建省份信息字典
        json_data = urllib2.urlopen(self.index_url).read()
        #读取json页面
        jsons = json_data.split(';')
        #将几组json数据分开
        json_province = jsons[0][jsons[0].index('=')+1:-1]
        #jsons[0]是省份信息
        json_province =  json_province+']'
        #将得到的字符串整理成正常的json数据格式
        provinces = json.loads(json_province)
        #读取json数据
        for province in provinces:
            province_dict[province.get('id')] = province.get('nz')
        #得到ID和省份名称存入相应的字典中
        return province_dict

5、得到城市信息的方法遇上面一样

    def get_city_dict(self):
        city_dict={}
        json_data = urllib2.urlopen(self.index_url).read() #读取json数据
        #print json_data
        jsons = json_data.split(';')
        #print jsons[1]# 城市信息
        json_city = jsons[1][jsons[1].index('=')+1:-1]
        json_city =  json_city+']'
        citys = json.loads(json_city)
        #print provinces
        for city in citys:
            #print  province.get('nz')
            city_dict[city.get('id')] = city.get('nz')
            
        for key in city_dict:#测试字典
            print key
            print city_dict[key]
        return city_dict

6、获得店面类型的信息也类似

    def get_type_dict(self):
        type_dict={}
        json_data = urllib2.urlopen(self.index_url).read() #读取json数据
        #print json_data
        jsons = json_data.split(';')
        #print jsons[2]# 店面类型信息
        json_type = jsons[2][jsons[2].index('=')+1:-1]
        json_type =  json_type+']'
        types = json.loads(json_type)
        #print provinces
        for typea in types:
            #print  province.get('nz')
            type_dict[typea.get('id')] = typea.get('nz')
        return type_dict

7、由于json中店面的类型是通过ID与类型ID进行匹配的，所以需要将类型的名称与店面id进行匹配制成字典

    def get_dealer_type_dict(self):
        dealer_type_dict={}
        types = self.get_type_dict()
        #调用之前的类型方法，用于后面的匹配
        json_data = urllib2.urlopen(self.index_url).read() #读取json数据
        #print json_data
        jsons = json_data.split(';')
        #print jsons[4]# 店面与类型关系信息
        json__delaer_type = jsons[4][jsons[4].index('=')+1:-1]
        json__delaer_type =  json__delaer_type+']'
        delaer_types = json.loads(json__delaer_type)
        #print provinces
        for delaer_type in delaer_types:#有用31-34编号的信息不是所需信息搜易使用if剔除
            if delaer_type.get('tp')==31:
                continue
            if delaer_type.get('tp')==32:
                continue
            if delaer_type.get('tp')==33:
                continue
            if delaer_type.get('tp')==34:
                continue
            print delaer_type.get('tp')
            dealer_type_dict[delaer_type.get('br')] = types[delaer_type.get('tp')]
        return dealer_type_dict

8、处理经销商数据方法

    def get_dealer_info(self):
        province_dict = self.get_province_dict()
        city_dict = self.get_city_dict()
        dealer_type_dict = self.get_dealer_type_dict()
        
        json_data = urllib2.urlopen(self.index_url).read()

        jsons = json_data.split(';')
        #print jsons[3]#经销商信息
        json_dealer = jsons[3][jsons[3].index('=')+1:-1]
        #由于此处的json数据过大，致使json.loads()发生异常
        #所以选择拼凑成列表的格式进行生成
        json_dealer = json_dealer.replace('[','')
        json_dealer = json_dealer.replace(']','')
        json_dealer = json_dealer.replace('},','}},')
        json_dealer = json_dealer.split('},')
        #以上为拼凑过程
        dealers =  list(json_dealer)
        #将字符串转变成列表
        dealer_info_list = []
        for dealer in dealers:
            l={}
            dealer = json.loads(dealer)
            #字符减少可以使用json.loads()进行处理，得到字典
            print dealer.get('nz')
            l[Constant.PROVINCE] = province_dict[dealer.get('pv')]
            #用经销商数据中的省份ID匹配省份字典中的ID，得到中文的省份名称
            l[Constant.CITY] = city_dict[dealer.get('ct')]
            l[Constant.TYPE] = dealer_type_dict[dealer.get('id')]
            l[Constant.NAME] = dealer.get('nz')
            l[Constant.ADDRESS] = dealer.get('az')
            l[Constant.TEL] = dealer.get('tel')
            l[Constant.EMAIL] = dealer.get('em')
            l[Constant.WEBSHOP] = dealer.get('ws')
            l[Constant.SINA] = dealer.get('wb')
            l[Constant.LENDER] = dealer.get('fnz')
            l[Constant.LENDERTEL] = dealer.get('ft')
            l[Constant.AFTERSALE] = dealer.get('flt')
            l[Constant.FAX] = dealer.get('fax')
            l[Constant.POSTCODE] = dealer.get('zp')
            dealer_info_list.append(l)
        self.saver.add(dealer_info_list)#提交保存
        self.saver.commit()

还有部分代码是用于将数据存入excel中的，就不贴出来了

最终结果是

我是爬虫新手，学python也就一个月，还是有高人指点的，代码很冗余，希望对新手有帮助，更希望高手提出意见，我加紧改进学习!!!!!!