day03-字符编码与转换

1、编码常识

• 在python 2中默认编码是 ASCII，而在python 3中默认编码是 unicode
• unicode 分为utf-32 (占4个字节),utf-16(占两个字节)，utf-8(占1-4个字节)，所以utf-16 是最常用的unicode版本，但是在文件里存的还是utf-8，因为utf8省空间
• 在python 3,encode编码的同时会把stringl变成bytes类型，decode解码的同时会把bytes类型变成string类型
• 在unicode编码中 1个中文字符=2个字节，1个英文字符 = 1个字节，切记：ASCII是不能存中文字符的
• utf-8是可变长字符编码,它是unicode的优化，所有的英文字符依然按ASCII形式存储，所有的中文字符统一是3个字节
• unicode包含了所有国家的字符编码，不同字符编码之间的转换都需要经过unicode的过程
• python本身的默认编码是utf-8

在Python2.X中，默认编码是ASCII

#-*- encoding:utf-8 -*-

import sys

print(sys.getdefaultencoding())  #打印当前默认编码

s = '你好！！！'          

s_to_unicode = s.decode('utf-8') #需要指定编码方式为utf-8（否则会使用默认编码）

print(s_to_unicode)     #此时可以打印中文

2、Python2.x  utf-8转换成gbk格式

#-*- encoding:utf-8 -*-
s = '你好！！！'           
s_to_unicode = s.decode('utf-8') #需要指定编码方式为utf-8（否则会使用默认编码）
s_to_gbk = s_to_unicode.encode('gbk')
合成一句
#s_to_gbk = s.decode('utf-8').encode('gbk')
print(s_to_gbk)  

3、Python2.x  gbk转换成utf-8格式

#-*- encoding:utf-8 -*-  #属于文件编码
s = '你好！！！'          #默认编码也是utf-8
s_to_gbk = s.decode('utf-8').encode('gbk')
gbk_to_utf-8 = s_to_gbk.decode(‘gbk’).encode(‘utf-8’)
print(gbk_to_utf-8)

4、Python3.x  unicode转换成gbk，gbk再转换成utf-8，utf-8转换成unicode

s = '你好'     #python3 默认是unicode

s_gbk = s.encode("gbk") #将unicode转换成gbk

print(s_gbk)   
print(s.encode())#默认解码成utf-8

gbk_to_utf8 = s_gbk.decode('gbk').encode('utf-8')
print(gbk_to_utf8)

utf8_to_unicode=gbk_to_utf8.decode('utf-8')
print(utf8_to_unicode)

输出结果：
utf-8
b'xc4xe3xbaxc3'            #encode会将结果变成二进制编码
b'xe4xbdxa0xe5xa5xbd'
18 b'xe4xbdxa0xe5xa5xbd'

你好                          #decode会将结果变成字符