二.字符编码
基础知识:
文本编辑器存取文件原理与py执行原理异同:
存/写:进入文本编辑器 写内容 保存后 内存数据刷到硬盘
取/读:进入文本编辑器 找到内容 从硬盘读到内存 notepad把文件内容打印到屏幕上(py启动解释器,把py当作普通文件读到内存,最后识别语法,执行)
你往文本编辑里写汉字,内存里存的是计算机能识别的二进制,按照当时写的标准(Unicode)再反解打印出来,计算机并不识别是哪国语言
字符编码:
将人类的字符转换成计算机能识别的数字,这种转换必须遵循固定的标准,人类的字符和数字的对应关系。
A-1 B-0 位数越多能表示的字符越多 当初美国人用8位( 2^8) 与英文字母对应
ASCII
1个英文字符等于8个二进制位bit 等于一个Bytes 可以表示2^8的英文字符
GBK
1个中文字符等于16个二进制位等于两个Bytes 可以表示2^16的中文字符
这个阶段不会出现乱码,因为各国都用自己的。
但是软件开始跨国使用后,硬盘上还是各国软件自己编码的二进制数字(暂时不考虑硬盘),内存里需要找到兼容万国的unicode,
与全世界的字符都建立好对应关系,用两个Bytes表示一个字符
如果直接用unicode从内存写到硬盘,对于英文来说就浪费空间了,所以需要更精简的格式UTF-8,将数据量控制到最精简,提高计算机运行效率
(UTF-8 是可变长的 每个语言都用适合自己的长度 更全面 用1个Bytes表示英文,3个Bytes表示中文)
但是为什么不能内存直接存成UTF-8 ,而是多此一举存成unicode?
unicode兼容万国 和各国语言你建立映射关系 老版本的都可以反解成unicode
UTF-8虽然兼容万国但与各国编码无对应关系 所以内存里不能放UTF-8
硬盘已经无法统一,各国软件已经在那里了,历史遗留问题,只要内存统一就行
目前达成共识,往硬盘里存UTF-8,很多很多年后,历史软件退役,硬盘里就不会有乱七八糟的各国标准了
重要结论1:
内存中固定使用unicode编码,唯一可以改变的是存储到硬盘时使用的编码
重要结论2:
要想保证存取文件不乱码,应保证文件当初以什么编码存,就以什么格式取
Unicode-编码成 gbk gbk-解码成unicode
重要结论3:
py3默认读取文件按照UTF-8
文件头:coding="gbk" 告诉py按照你指定的编码去读文件(指定的编码应该和存的编码(py右下角显示的是存的)一致)
因为一般默认以UTF-8存,也以它取,所以通常不需要再指定,但是如果去py2运行的话就要考虑了,所以最好都指定coding="utf-8"
print() 内存丢到操作系统 当初以UTF-8 内存unicode 现在操作系统以gbk
py2里面字符串前面加u'跨平台更好 制造unicode 不加'u的话 就是Unicode按文件头指定格式的,否则按默认的ASCII
py3 只能编码 因为默认的字符串类型是unicode编码 可以编码成bytes类型
把内存的字符串写到硬盘,把内存里的unicode编码成其他可以写进硬盘里的类型,例如bytes