之前做Spark大数据分析的时候，考虑要做Python的版本升级，对于Python2和Python3的差异做了一个调研，主要对于语法和第三方工具包支持程度进行了比较。
基本语法差异
核心类差异
-
Python3对Unicode字符的原生支持
Python2中使用 ASCII 码作为默认编码方式导致string有两种类型str和unicode，Python3只支持unicode的string。python2和python3字节和字符对应关系为：
-
Python3采用的是绝对路径的方式进行import。
Python2中相对路径的import会导致标准库导入变得困难（想象一下，同一目录下有file.py，如何同时导入这个文件和标准库file）。Python3中这一点将被修改，如果还需要导入同一目录的文件必须使用绝对路径，否则只能使用相关导入的方式来进行导入。
-
Python2中存在老式类和新式类的区别，Python3统一采用新式类。新式类声明要求继承object，必须用新式类应用多重继承。
-
Python3使用更加严格的缩进。Python2的缩进机制中，1个tab和8个space是等价的，所以在缩进中可以同时允许tab和space在代码中共存。这种等价机制会导致部分IDE使用存在问题。Python3中1个tab只能找另外一个tab替代，因此tab和space共存会导致报错：TabError: inconsistent use of tabs and spaces in indentation.
废弃类差异
-
print语句被python3废弃，统一使用print函数
-
exec语句被python3废弃，统一使用exec函数
-
execfile语句被Python3废弃，推荐使用exec(open("./filename").read())
-
不相等操作符"<>"被Python3废弃，统一使用"!="
-
long整数类型被Python3废弃，统一使用int
-
xrange函数被Python3废弃，统一使用range，Python3中range的机制也进行修改并提高了大数据集生成效率
-
Python3中这些方法再不再返回list对象：dictionary关联的keys()、values()、items()，zip()，map()，filter()，但是可以通过list强行转换：
mydict={"a":1,"b":2,"c":3} mydict.keys() #<built-in method keys of dict object at 0x000000000040B4C8> list(mydict.keys()) #['a', 'c', 'b'] -
迭代器iterator的next()函数被Python3废弃，统一使用next(iterator)
-
raw_input函数被Python3废弃，统一使用input函数
-
字典变量的has_key函数被Python废弃，统一使用in关键词
-
file函数被Python3废弃，统一使用open来处理文件，可以通过io.IOBase检查文件类型
-
apply函数被Python3废弃
-
异常StandardError 被Python3废弃，统一使用Exception
修改类差异
-
浮点数除法操作符/和//区别
- Python2:/是整数除法，//是小数除法
- Python3:/是小数除法，//是整数除法。
-
异常抛出和捕捉机制区别
- Python2
raise IOError, "file error" #抛出异常 except NameError, err: #捕捉异常- Python3
raise IOError("file error") #抛出异常 except NameError as err: #捕捉异常 -
for循环中变量值区别
- Python2，for循环会修改外部相同名称变量的值
i = 1 print （'comprehension: ', [i for i in range(5)]） print （'after: i =', i ） #i=4- Python3，for循环不会修改外部相同名称变量的值
i = 1 print （'comprehension: ', [i for i in range(5)]） print （'after: i =', i ） #i=1 -
round函数返回值区别
- Python2，round函数返回float类型值
isinstance(round(15.5),int) #True- Python3，round函数返回int类型值
isinstance(round(15.5),float) #True -
比较操作符区别
- Python2中任意两个对象都可以比较
11 < 'test' #True- Python3中只有同一数据类型的对象可以比较
11 < 'test' # TypeError: unorderable types: int() < str()
新增类差异
所有在Python3.X中增加的新特性在Python2中都不支持，这些新特性的说明在官网中有详细的说明：
- 3.1 https://docs.python.org/3.1/whatsnew/
- 3.2 https://docs.python.org/3.2/whatsnew/3.2.html
- 3.3 https://docs.python.org/3.3/whatsnew/3.0.html
- 3.4 https://docs.python.org/3.4/whatsnew/3.4.html
- 3.5 https://docs.python.org/3.5/whatsnew/3.5.html
- 3.6 https://docs.python.org/3.6/whatsnew/3.6.html
国内有对这些特性中的重要点进行介绍的博文，可以作为参考：http://www.cnblogs.com/animalize/p/5633215.html
第三方工具包
我们在pip官方下载源pypi搜索Python2.7和Python3.5的第三方工具包数可以发现，Python2.7版本对应的第三方工具类目数量是28523,Python3.5版本的数量是12457，这两个版本在第三方工具包支持数量差距相当大。
https://pypi.python.org/pypi?:action=browse&c=532
https://pypi.python.org/pypi?:action=browse&c=607
我们从数据分析的应用角度列举了常见实用的第三方工具包（如下表），并分析这些工具包在Python2.7和Python3.5的支持情况：
| 分类 | 工具名 | 用途 |
|---|---|---|
| 数据收集 | scrapy | 网页采集，爬虫 |
| 数据收集 | scrapy-redis | 分布式爬虫 |
| 数据收集 | selenium | web测试，仿真浏览器 |
| 数据处理 | beautifulsoup | 网页解释库，提供lxml的支持 |
| 数据处理 | lxml | xml解释库 |
| 数据处理 | xlrd | excel文件读取 |
| 数据处理 | xlwt | excel文件写入 |
| 数据处理 | xlutils | excel文件简单格式修改 |
| 数据处理 | pywin32 | excel文件的读取写入及复杂格式定制 |
| 数据处理 | Python-docx | Word文件的读取写入 |
| 数据分析 | numpy | 基于矩阵的数学计算库 |
| 数据分析 | pandas | 基于表格的统计分析库 |
| 数据分析 | scipy | 科学计算库，支持高阶抽象和复杂模型 |
| 数据分析 | statsmodels | 统计建模和计量经济学工具包 |
| 数据分析 | scikit-learn | 机器学习工具库 |
| 数据分析 | gensim | 自然语言处理工具库 |
| 数据分析 | jieba | 中文分词工具库 |
| 数据存储 | MySQL-python | mysql的读写接口库 |
| 数据存储 | mysqlclient | mysql的读写接口库 |
| 数据存储 | SQLAlchemy | 数据库的ORM封装 |
| 数据存储 | pymssql | sql server读写接口库 |
| 数据存储 | redis | redis的读写接口 |
| 数据存储 | PyMongo | mongodb的读写接口 |
| 数据呈现 | matplotlib | 流行的数据可视化库 |
| 数据呈现 | seaborn | 美观的数据可是湖库，基于matplotlib |
| 工具辅助 | jupyter | 基于web的python IDE，常用于数据分析 |
| 工具辅助 | chardet | 字符检查工具 |
| 工具辅助 | ConfigParser | 配置文件读写支持 |
| 工具辅助 | requests | HTTP库，用于网络访问 |
工具安装问题
- windows环境
Python2 无法安装mysqlclient。Python3 无法安装MySQL-python、 flup、functools32、Gooey、Pywin32、 webencodings。
matplotlib在python3环境中安装报错：The following required packages can not be built:freetype, png。需要手动下载安装源码包安装解决。
scrapy在python3环境中安装报错，需安装VC++2015安装包： http://landinghub.visualstudio.com/visual-cpp-build-tools
scipy在Python3环境中安装报错，numpy.distutils.system_info.NotFoundError，需要自己手工下载对应的安装包，依赖numpy,pandas必须严格根据python版本、操作系统、64位与否。
运行matplotlib后发现基础包numpy+mkl安装失败，需要自己下载，国内暂无下载源
- centos环境下
python2无法安装mysql-python和mysqlclient包，报错：EnvironmentError: mysql_config not found，解决方案是安装mysql-devel包解决。使用matplotlib报错：no module named _tkinter，安装Tkinter、tk-devel、tc-devel解决。
pywin32也无法在centos环境下安装。
工具测试结果
解决上述的安装问题后，编写了测试脚本(附录)运行上述工具包的简单案例，测试结果均通过，表明上述第三方工具包安装成功后在Windows和Centos环境下均可以成功运行。