作者: jinhaolin
出处: http://www.cnblogs.com/jinhaolin/>
以下依次列出python2常遇到的几个问题及讲解。
# -*- coding:utf-8 -*-
python2默认以ASCII编码,但是在实际编码过程中,我们会用到很多中文,为了不使包含中文的程序报错,也是为了符合国际通用惯例,一般将我们的文件编码设置为utf-8格式。
设定编码的格式有很多种,只要第一行或者第二行的声明符合正则表达式 "coding[:=]s*([-w.]+)" 即可,一般的声明方式为#-*- coding:utf-8 -*-。
1 str = "你好" 2 print str
运行以上代码,程序会报错:SyntaxError: Non-ASCII character 'xe4' in file D:/TestPython/test/111.py on line 1,
but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details。
这是提示程序中有非ASCII编码的字符。如果加上utf-8声明,程序就不会报错。
1 # -*- coding:utf-8 -*- 2 3 str = "你好" 4 print str
虽然以上写法不会报错,但是输出的却是乱码,为什么呢?这就是下面要讲的内容。
encode和decode
讲解编码和解码之前,先来讲讲Unicode和utf-8的关系,推荐这篇博客给大家。
1 # -*- coding:utf-8 -*- 2 3 str1 = "你好" 4 print type(str1) 5 str2 = str1.decode("utf-8") 6 print type(str2)
str1是str类型, 通过decode转为了unicode类型。
下面看encode代码:
1 # -*- coding:utf-8 -*- 2 3 str1 = u"你好" 4 print type(str1) 5 str2 = str1.encode("utf-8") 6 print type(str2)
str1是unicode类型,通过encode转为了str类型。
我们再回头看最开始留下的问题,那段代码为什么会输出乱码呢。因为文件规定的编码格式是utf-8,但是我们print是打印到控制台的,控制台无法显示utf-8编码格式的字符。所以我们要转一下格式。
1 # -*- coding:utf-8 -*- 2 3 str = "你好" 4 str = str.decode("utf-8") 5 print str
很多时候编码解码的时候需要加ignore参数才能正确转换,例如.encode('utf-8', 'ignore')或.decode('utf-8', 'ignore'),大家自行斟酌吧。
chardet获取编码格式
有些时候我们是无法知道字符串是什么编码的,比如抓取网页时,有些是utf-8的,有些是gb2312编码的,那我们该怎么获取编码格式并转换为unicode呢。这里就介绍到一个第三方库chardet。使用方式大概如下:
1 # -*- coding: utf-8 -*- 2 3 import chardet 4 5 str = "xxxxx" 6 str_type = chardet.detect(str) 7 code = str_type['encoding']
code即为str的编码格式。但有些人反映该方法得到的编码格式不准确,速度也慢。本人亲测,速度确实一般,但是目前还没遇到不准确的情况。大家可以斟酌使用,我这里只是提供一个思路,如果谁那里有更好的方式,可以告知小弟,不吝赐教才是。
import sys
reload(sys)
sys.setdefaultencoding('utf8')
之前也遇到过很莫名其妙的编码错误,网上搜到这种方法能解决就糊里糊涂的用上了,也不知是什么原理。今天看到一篇不错的博客,推荐给大家:http://blog.csdn.net/crazyhacking/article/details/39375535。以下内容引用自该篇文章:
1 Python 里面的编码和解码也就是 unicode 和 str 这两种形式的相互转化。编码是 unicode -> str,相反的,解码就是 str -> unicode。剩下的问题就是确定何时需要进行编码或者解码了.关于文件开头的"编码指示",也就是 # -*- coding: -*- 这个语句。Python 默认脚本文件都是 UTF-8 编码的,当文件中有非 UTF-8 编码范围内的字符的时候就要使用"编码指示"来修正. 关于 sys.defaultencoding,这个在解码没有明确指明解码方式的时候使用。比如我有如下代码: 2 #! /usr/bin/env python 3 # -*- coding: utf-8 -*- 4 s = '中文' # 注意这里的 str 是 str 类型的,而不是 unicode 5 s.encode('gb18030') 6 7 这句代码将 s 重新编码为 gb18030 的格式,即进行 unicode -> str 的转换。因为 s 本身就是 str 类型的,因此 Python 会自动的先将 s 解码为 unicode ,然后再编码成 gb18030。因为解码是python自动进行的,我们没有指明解码方式,python 就会使用 sys.defaultencoding 指明的方式来解码。很多情况下 sys.defaultencoding 是 ANSCII,如果 s 不是这个类型就会出错。拿上面的情况来说,我的 sys.defaultencoding 是 anscii,而 s 的编码方式和文件的编码方式一致,是 utf8 的,所以出错了: 8 UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 9 0: ordinal not in range(128) 10 对于这种情况,我们有两种方法来改正错误: 11 一是明确的指示出 s 的编码方式 12 13 #! /usr/bin/env python 14 # -*- coding: utf-8 -*- 15 16 s = '中文' 17 s.decode('utf-8').encode('gb18030') 18 19 20 二是更改 sys.defaultencoding 为文件的编码方式 21 22 #! /usr/bin/env python 23 # -*- coding: utf-8 -*- 24 25 import sys 26 reload(sys) # Python2.5 初始化后会删除 sys.setdefaultencoding 这个方法,我们需要重新载入 27 sys.setdefaultencoding('utf-8') 28 29 str = '中文' 30 str.encode('gb18030') 31 32 33 34 看完之后,改成这样 35 36 print "<p>addr:", form["addr"].value.decode('gb2312').encode('utf-8') 37 成功通过.
但是这种方式用着就是别扭,还是尽量自己来控制编码,明确了编码格式,自己写着也踏实。
个人总结
实际编程过程中,最好能在代码内统一编码格式,比如统一为unicode,因为这样就不用考虑编码的问题了。到了显示或输出时再转换为存储类型(utf-8、GBK)。