更多精彩内容，请关注微信公众号：后端技术小屋
大家可能和我一样，在Python日常开发过程中会遇到各种各样的编码问题。因此在此以个人的踩坑经验总结出一些常见问题和解决方案。
0 如何查看py源文件编码
vim py文件
输入
:set fileencoding
输出
fileencoding=utf-8
1 如何确定py中静态字符串的编码
静态字符串的编码方式取决于文件头中coding的设置。在下面的代码中，变量name以UTF-8编码。
#!/usr/bin/env python
# coding: utf-8
name = "后端技术小屋"
如果不设置coding，运行py文件时便会报语法错误，因为Python Interpreter不识别文件中的中文字符
SyntaxError: Non-ASCII character 'xe5' in file 1.py on line 2, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details
2 如何查看标准输入和标准输出的编码
以下三种方法皆可查看stdin/stdout的编码
2.1 通过Python sys库查看
$ python
Python 2.7.6 (default, Nov 13 2018, 12:45:42)
[GCC 4.8.4] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> print sys.stdin.encoding
UTF-8
>>> print sys.stdout.encoding
UTF-8
>>>
2.2 查看环境变量LANG
$ echo $LANG
en_US.UTF-8
2.3 执行locale
$ locale
LANG=en_US.UTF-8
LANGUAGE=en_US:
LC_CTYPE="en_US.UTF-8"
LC_NUMERIC="en_US.UTF-8"
LC_TIME="en_US.UTF-8"
LC_COLLATE="en_US.UTF-8"
LC_MONETARY="en_US.UTF-8"
LC_MESSAGES="en_US.UTF-8"
LC_PAPER="en_US.UTF-8"
LC_NAME="en_US.UTF-8"
LC_ADDRESS="en_US.UTF-8"
LC_TELEPHONE="en_US.UTF-8"
LC_MEASUREMENT="en_US.UTF-8"
LC_IDENTIFICATION="en_US.UTF-8"
LC_ALL=
3 如何修改标准输入和标准输出的编码
首先我们需要知道是环境变量LANG决定了stdin和stdout的编码
如果只是想临时修改，在命令行通过export LANG='XXX'指定标准输入/输出编码即可。当终端退出时该设置即失效。
如果想永久修改： 执行vim /etc/sysconfig/i18n, 在其中修改LANG的取值，然后执行source /etc/sysconfig/i18n即可生效。
4 定义字符串时前缀'u'和'b'的区别
首先我们假设py文件头中# coding: utf-8
执行a = u'后端技术小屋'时，会将UTF-8编码的静态字符串转化成Unicode编码，最后赋值给a；
执行b = b'后端技术小屋'时，则直接将UTF-8编码的静态字符串赋值给b
5 定义a=u'后端技术小屋'和b=b'后端技术小屋'，打印a和b的结果为何相同
假设py文件头中指定coding为UTF-8，且标准输入/输出的编码为UTF-8
Python执行print a时，会自动将Unicode转化成标准输出的编码格式UTF-8，然后输出
Python执行print b时，字符串b的编码为UTF-8，恰好与标准输出相同。虽然定义a和b时的编码方式不同，但是打印它们时都会转化为标准输出的编码，所以我们看到打印a和b的结果相同。
实际上这里有一些巧合：字符串b的编码恰好与标准输出相同。一旦b的编码和标准输出的编码不一致了(比如b的编码换成了GBK)，我们看到的将是乱码，因为GBK编码无法自动转化为UTF-8，而我们在Python开发中遇到的中文乱码问题大部分来源于此。
在实际开发中，强烈建议将可能含有中文的字符串一律转换成Unicode编码之后再打印。如下所示：
# coding: gbk
a = "后端开发小屋" # GBK编码
aa = a.decode("gbk") # Unicode编码
print aa
# coding: utf-8
a = "后端开发小屋" # UTF-8编码
aa = a.decode("utf-8") # Unicode编码
print aa
6 执行py的标准输出重定向到文件中是什么编码？
编码方式同标准输出
7 为何vim打开文件无乱码，但是cat文件有乱码
说明文件和标准输出编码不一致。而vim支持文件编码，所以vim打开文件无乱码，cat文件有乱码。所以解决思路是使得文件编码与标准输出编码一致，即可消除乱码。
解决方法1: 通过iconv -f XXX -t XXX file, 将文件转码，使得其编码与标准输出一致
解决方法2: 修改标准输出编码(参考问题2), 使得其与文件编码一致
8 vim打开文件有乱码，但是cat文件无乱码
说明vim不识别此种文件编码
解决方法：
- vim中输入
:set fileencoding, 查看文件编码 - vim ~/.vimrc, 在set fileencodings列表中加入该文件编码，例如
set fileencodings=ucs-bom,utf-8,cp936,gb18030,big5,euc-jp,euc-kr,latin1 - vim重新打开文件
9 总结
说了这么多，总结下：
- Python开发中，对于可能含有中文的字符串，如需打印，需将其转化为Unicode编码。因为python会自动将unicode转化成输出介质的编码。
- 标准输出、标准输入、文件、vim(或其他编辑器)上的乱码问题，可根据如上问题举一反三，对症下药加以解决。
推荐阅读
- STL源码分析--vector
- STL源码分析--hashtable
- STL源码分析--algorithm
- zookeeper client原理总结
- redis实现分布式锁
- 推荐几个好用的效率神器
- C/C++关键字之restrict
- 现代C++之右值语义
更多精彩内容，请扫码关注微信公众号：后端技术小屋。如果觉得文章对你有帮助的话，请多多分享、转发、在看。
