• Unicode UTF-8 UTF-16的关系


    以下仅为个人学习的记录,如有疏漏不妥之处,还请不吝赐教

    关系 

      Unicode是一个字符集。顾名思义,字符的集合。GBK,BIG5,ISO8859-1,ASCII都是字符集。

      有一点不同的是,Unicode并没有规定字符的编码是如何实现的,上述的其它字符集有其编码方式。Unicode就好比java中的抽象类,实现编码的方法是抽象的。因此,需要实现编码方式才能应用于实际。UTF-8,UTF-16实现它编码方式。

    UTF-8

      UTF-8是变长的。即字符编码的字节数有差异。比如"A"的编码0x41, 只需一个字节,"中"的编码是0xe4b8ad,则需要三个字节,大部分中文字符的编码都是三个字节。

    UTF-8的编码方式

      

    UTF-8编码(参考wiki百科)
    字节数

        起始

        码点

        终止

        码点

        字节1

        字节2     字节3     字节4
        1 U+0000 U+007F 0xxxxxxx      
        2 U+0080 U+07FF 110xxxxx 10xxxxxx    
        3 U+0800 U+FFFF 1110xxxx 10xxxxxx 10xxxxxx  
        4  U+10000 U+1FFFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

      以字符"中" 为例:

      1. 查找"中"字的Unicode 码点(code point), U+4e2d, 二进制码点表示为 0100 1110 0010 1101

      2. 因为U+0800 < U+4e2d < U+FFFF, 可知需要三个字节编码。

      3. 从右到左将二进制码点填写到xxx中。得到11100100 10111000 10101101 即0xe4b8ad.

    UTF-16

      UTF-16开始时是定长的,后来也变长的,UTF-16使用两个或四个字节编码。java一开始选择UTF-16作为运行时的字符编码,是因为字符定长编码带来的字符操作便利。UTF-16中有一个术语代码(code unit)。编码时每16个位就是一个代码单元。用4个字节编码时,就是编码为两个代码单元。

    UTF-16的编码方式

    UTF-16编码
    字节数     字节1     字节2      字节3    字节4
        2   xxxx xxxx    xxxx xxxx    
        4   1101 10xx    xxxx xxxx   1101 11xx    xxxx xxxx


      
    还是以字符"中"为例:

      1.查找"中"字的Unicode 码点(code point), U+4e2d, 二进制码点表示为 0100 1110 0010 1101

      2.直接按照码点进行编码,得到0x4e2d.也就是说其实UTF-16的两个字节编码和Unicode的码点是完全一样的。

      

     总结

       UTF-8和UTF-16两种编码方式是不兼容的。

    延伸阅读:

    深入分析 Java 中的中文编码问题:  https://www.ibm.com/developerworks/cn/java/j-lo-chinesecoding/#icomments

    字符编码笔记:ASCII,Unicode 和 UTF-8:http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html

    Wiki百科:https://en.wikipedia.org/wiki/UTF-16   

                      https://en.wikipedia.org/wiki/UTF-8

    https://www.joelonsoftware.com/2003/10/08/the-absolute-minimum-every-software-developer-absolutely-positively-must-know-about-unicode-and-character-sets-no-excuses/

      

  • 相关阅读:
    Ubuntu-Tensorflow 程序结束掉GPU显存没有释放的问题
    python 批量修改文件名
    linux 查看文件夹文件大小数目等信息
    linux sudo 系统环境变量 用户环境变量
    python安装h5py
    安装labelImg
    pyqt5 sip 段错误问题
    python:dist-packages && site-packages
    lua学习:lua中“类”的实现
    lua笔记
  • 原文地址:https://www.cnblogs.com/yvkm/p/10387002.html
Copyright © 2020-2023  润新知