用Python玩转数据——第五周数据统计和可视化

一、数据获取

1.本地数据

   with 语句，pd.read_csv('data.csv')

2.网站上数据

   2.1 直接获取网页源码，在用正则表达式进行删选

   2.2 API接口获取---以豆瓣为例

        import requests

        r=requests.get(https://api.douban.com/v2/book/1084336)  

       其他电影或者音乐可以直接网上搜索豆瓣API，会有相应教程教你如何使用，切记要直接看官网的

3.NLTK 语料库（自然语言工具包）

    需要首先pip install NLTK

                   nltk.downlod()      然后就会弹出下载框，自己选择要下载的资料

                  from nltk.corpus import  gutenberg(brown)     资料下载在本地的，需要导入进来

   包括古藤保语料库，布朗语料库，路透社语料库，这些都可以在查看其官网上看

二、数据准备

2.1 修改列索引和行索引

     data.index=range(1,len(data)+1)

     cols=['code'，‘name’,'lasttrade']

2.2 创建时间序列

    import pandas as pd

    dates=pd.date_range('20170520',periods=7)  创建了7个连续时间序列

          建立一个dataFrame时间二维表

              data=pd.DataFrame(np.random.randn(7,3),index=dates,colums=list('ABC'))

三、数据显示

3.1 一维数据

     data.head(5)  查看前5个；data.tail(5)  查看后5个；data.shape   维度；data.size 个数；

3.2 二维数据

    loc类和iloc类，前者可以用标签，后者只能用物理位置的参数

  data.loc[1:5,['code','lasttrade']]

  data.loc[1:6,[0,2]]

  data.iat[1,'code'] 选择一个之可以有iat也可以用loc类

 /// data.iloc[1:5,[0,2]]  中括号里面只能是数字

四、分组Grouping

    data.groupby('month').count()

五、合并（append、concat、join）

    p.append(q)

    concat是连接两个碎片,pd.concat([pieces1,pieces2],igonre_index=True)

    join两张表合并，必须要有相同的字段

    pd.merge(data.drop(['code'],axis=1),data2,on='code') 给予code将data1和data2两张表合并，并且将data1中code列删除