• 计算机基础与字符编码


    计算机基础

    1. cpu: 控制程序的运行(从内存中取出文本编辑器的数据读入内存)
    2. 内存: 运行程序(经cpu操作后,内存中含有文本编辑器的数据)
    3. 硬盘: 存储数据(文本编辑器)

    文本编辑器

    计算机只认识 0和1

    文本编辑器的作用: 读写数据,保存数据

    python解释器

    具有文本编辑器的功能

    010101011001010 --> a = 1 # 5个很普通的字符 ,python解释器没有运行的时候提供的 # 字符编码

    定义变量就要开辟内存空间存放变量,内存只认识 0和1 也就是说, a=1 --> 01010110101 需要一定的0和1表示他为字符串,python解释器运行的时候提供的 # python2和3字符编码的区别

    字符编码

    字符编码: 二进制 和 你所能认识的字符 之间的相互转换的一个过程

    早期的ascii码

    0 1 a b 2^1

    00 01 10 11 a b c d 2^2

    2^3

    8位 2^8=256

    0000 0000

    0000 0001

    0100 0001 A

    0100 0001 A 英文

    0000 0001 0000 0000 A 中文

    1111 1111 1111 A 日文

    中国人也要电脑,中国人就自己造一个,gbk,4个字节

    0000 0000 0000 2^12 # 4096

    0000 0000 0000 0000 2^16

    小日本也需要电脑,日本人也造一个shift,

    韩国人需要电脑,也造一个Euc,

    现在有一个精通18国语言的人,非要装逼用18门语言写一个程序

    这个时候就需要一个通用的编码,来实现这一功能

    这时候就有一个新的编码Unicode
    优点: 认识万国语言,万国编码

    缺点: 把 8位的英文变成了16位的英文, 多占用了内存空间

    什么情况会出现乱码

    编码格式不统一

    文本编辑器支持的是utf8 ,你输入的是gbk --> 文件的存储

    文件存储用了utf8 ,但是下次打开用了gbk --> 文件的读取

    0000 0001 上(中文)

    0000 0000 下(中文)

    0000 0000 上(日文)

    0000 0001 下(日文)

    用中文的编辑器存储了 日文的 0000 0000 乱码,识别成了 下

    乱码的两种情况

    中文的文本编辑器只认识中文,然后你输入了日文 --> 乱码 # encode 编码

    文本编辑器存储了中文(文件),但是你用日本的编辑器打开这个文件 --> 乱码 # decode 解码

    解决乱码

    什么格式存储, 就什么格式读取 就不会乱码(牢记这句话)

    windows电脑的记事本默认为gbk编码,除此之外其他的软件默认编码为utf8

    python解释器运行代码的流程

    1. 启动python解释器(相当于文本编辑器)
    2. 打开文件,显示这个字符并检查语法(涉及字符编码, a=1只是一个很普通的字符)
    3. 解释字符 (涉及字符编码,再去内存空间 生成一个a=1的变量)

    python2用的是ascii, python3默认是utf8读取字符

    # coding:gbk会告诉python3解释器用gbk编码读取字符

    python3(了解)

    你看到的其实是unicode

    但是终端帮你把这个unicode的0和1做一个转换,从unicode转换成了终端能够识别的编码格式,然后变成中文

    # coding:gbk
    a = '中文'  # 用unicode编码存储了这堆0和1
    print(a)  # 010101010
    

    假设终端的默认编码是gbk , 认识 unicode编码的变量

    假设终端的默认编码是utf8,认识 unicode编码的变量

    Python2(了解)

    unicode + 指定的coding编码(str类型)

    在第三步的时候python2和python3有区别

    python2

    会用unicode编码存放变量; 还会用文件默认的编码存放变量

    假设文件默认的编码是gbk,生成的变量就会用gbk形式存储变量,终端默认编码也是gbk,没有问题
    假设文件默认的编码是gbk,生成的变量就会用gbk形式存储变量,终端默认编码也是utf8,有问题

    python3

    就用unicode的编码存放变量 a = 1

    当我们打印a的时候,本来应该打印出0和1,但是终端会按照他的编码规则吧0和1转成人类认识的字符

    用什么编码存,就用什么编码取

    # coding:gbk
    a = '中文'  # 用gbk编码存储了这堆0和1
    a = u'中文'  # 用unicode编码存储了这堆0和1
    print(a)
    

    终端是一个文本编辑器,会有默认编码.

    假设终端的默认编码是gbk , 认识 gbk编码的变量

    假设终端的默认编码是utf8, 不认识 gbk编码的变量

  • 相关阅读:
    2.HTML案例二 头条页面
    1.HTML入门
    33.1.网络编程入门
    32.原子性
    【转】风控中的特征评价指标(一)——IV和WOE
    【转】Python调用C语言动态链接库
    基于蒙特卡洛树搜索(MCTS)的多维可加性指标的异常根因定位
    正则表达式全集
    基于ray的分布式机器学习(二)
    基于ray的分布式机器学习(一)
  • 原文地址:https://www.cnblogs.com/hyc123/p/11316542.html
Copyright © 2020-2023  润新知