• $ 专治各种python字符编码问题疑难杂症


    标准动作

    • 在脚本第一行指定编码格式:
    # coding:utf-8
    
    • 将默认的ascii字符流处理方式变为utf-8:
    import sys
    sys.getdefaultencoding()
    
    'ascii'
    
    reload(sys)
    sys.setdefaultencoding('utf-8')
    

    常见字符编码知识

    ascii编码

    是最早使用、最常见的一种字符编码,包含了128个字符(英文字母、数字、符号、控制字符等),也是下面讲到的所有编码的公共集合。

    ISO8859-1编码

    西欧字符集编码。

    gb2312/gbk/gb18030之间的关系

    这是简体中文的三种编码,从左到右包含的字符范围依次增大,左边是右边的子集。

    big5编码

    繁体中文编码。

    unicode/utf-8/utf-16/utf-32之间的关系

    • unicode是一个字符集,表示包含了哪些字符——包含了世界上所有字符。

    • 而utf-8/utf-16/utf-32是字符编码,表示用哪种方式表示unicode字符集,是对unicode字符集的具体编码实现方式。

    • 最常用的是utf-8

    获取字符串的编码格式

    from chardet import detect
    
    detect('abc')
    
    {'confidence': 1.0, 'encoding': 'ascii', 'language': ''}
    
    detect(r'abc')
    
    {'confidence': 1.0, 'encoding': 'ascii', 'language': ''}
    

    注:detect的参数不能是unicode字符串,否则会报错。

    str和unicode对象

    str和unicode都是python内置的两种字符串类,并且有着同样的父类:basestring

    type('123')
    
    str
    
    type(u'123')
    
    unicode
    
    str.__bases__
    
    (basestring,)
    
    unicode.__bases__
    
    (basestring,)
    
    basestring.__bases__
    
    (object,)
    

    用好unicode这个桥梁

    有时候并不知道一个字符串的编码是什么(比如从某个文件中读取的内容),这时候如何把这个文件的字符编码转为需要的编码呢(比如utf-8)?

    答案是:借助unicode为桥梁。

    比如:

    with open('content.txt','r') as fin:
        content = fin.read()
        # 这里先把文件内容decode成utf-8编码(中间桥梁),再encode成gbk编码(目标编码)
        target = content.decode('utf-8').encode('gbk')
    

    把转义的中文unicode字符串转为中文

    s = 'u6211'
    
    type(s)
    
    str
    
    print s
    
    u6211
    
    print s.decode('unicode-escape').encode('utf-8')
    

    把各种字符都统一成unicode来处理

    from __future__ import unicode_literals
    
    type('123')
    
    unicode
    
    type(u'123')
    
    unicode
    

    解决matplotlib图表中的中文乱码问题

    按照matplotlib默认的字符编码,在图表中中文不能正常显示,会显示为方框,如下:

    import matplotlib.pyplot as plt
    
    x = [1,2,3]
    y = [4,6,8]
    plt.plot(x,y)
    plt.title(u'数据')
    plt.show()
    

    解决方法:

    plt.rcParams['font.sans-serif'] = ['SimHei']  # 指定默认字体
    plt.rcParams['axes.unicode_minus'] = False  # 解决负号显示为方框的问题
    plt.title(u'数据')
    plt.plot(x,y)
    plt.show()
    

  • 相关阅读:
    深入MVC模式概念
    Asp.NET MVC and Asp.NET WebForms Features
    JavaScript实现简单进度条
    数据分页技术(学习笔记)
    sql行列转换<转>
    全自动静态网页生成器(三)——发布第一个可用版本
    ASP.NET AJAX进度条
    不能远程访问Win7系统上的Sql 2005数据库
    水印及缩略图的C#实现
    无任何网络提供程序接受指定的网络路径解决方法
  • 原文地址:https://www.cnblogs.com/jiayongji/p/7287752.html
Copyright © 2020-2023  润新知