• 字符集与MySQL中文乱码问题(1)


      在将古诗插入到MySQL数据库后,出现了中文乱码的问题。解决过程中,主要参考了下面几个文章。

    字符集与字符编码

    http://cenalulu.github.io/linux/character-encoding/(重点参考)

    解决MySQL乱码问题

    http://cenalulu.github.io/mysql/mysql-mojibake/(重点参考)

    http://www.ha97.com/5359.html(重点参考)

    一.字符集与字符编码

      字符集规定某个文字对应的二进制数字存放方式(编码)和某串二进制数值代表了哪个文字(解码)的转换关系。

      字符集只是一个规则的集合的名字,对应到真实的生活中,字符集就是对某种语言称呼,如英语,汉语。一个字符集有三个关键的元素:

    字库表:所有可读或者可以显示的字符的数据库,决定了这个字符集能够展现的所有字符的范围。

    编码字符集:用一个编码值(code point)来表示一个字符在字库表中的位置。

    字符编码:编码字符集与实际存储数值之前的转换关系,一般来说都是将code point值作为编码后的值直接存储。如A 在ASCII的表中排第65位,而编码后的A就是65。

    问题:字库表中每个字符都有一个自己的序号,直接将序号作为存储内容就可以了,为什么还要通过字符编码把序号转换成另外一种存储格式呢?

    原因:统一字库表的目的是能够含有所有的字符,但是实际使用时只会使用一小部分,如中文地区不会使用日语,而一些英语国家甚至只用简单的ASCII字库表就可以了,如果把每个字符都用字库表中的序号来表示,则每个字符都要3个字节(unicode字库为例子),这种情况对原来只战胜一个字符的ASCII编码的国家显然是一个浪费。

     

    二.UTF-8和Unicode的关系

    Unicode

    编码字符集,随着互联网的发展,对同一字库集的要求越来越迫切,因此出现了Unicode标准,它几乎涵盖了各个国家的语言可能出现的符号与文字,并将它们进行编号。

    UTF-8

    字符编码,是Unicode规则字库的一种实现形式。虽然它现在是接受度最好的一个字符集编码,但是并没有涵盖整个Unicode的字库。

     

    三.UTF-8编码实现

    下面介绍下UTF-8的编码实现,也就是它的物理存储和Unicode序号的转换关系。

    UTF-8编码为变长编码,最小编码单位(code unit)为一个字节,一个字节的前1-3个bit为描述性部分,后面为实际序号部分。

    • 如果一个字节的第一位为0,那么代表当前字符为单字节字符,占用一个字节的空间。0之后的所有部分(7个bit)代表在Unicode中的序号。
    • 如果一个字节以110开头,那么代表当前字符为双字节字符,占用2个字节的空间。110之后的所有部分(5个bit)加上后一个字节的除10外的部分(6个bit)代表在Unicode中的序号。且第二个字节以10开头
    • 如果一个字节以1110开头,那么代表当前字符为三字节字符,占用2个字节的空间。110之后的所有部分(5个bit)加上后两个字节的除10外的部分(12个bit)代表在Unicode中的序号。且第二、第三个字节以10开头
    • 如果一个字节以10开头,那么代表当前字节为多字节字符的第二个字节。10之后的所有部分(6个bit)和之前的部分一同组成在Unicode中的序号。

    可以看到,UTF-8字符编码是以一定方式实现了Unicode规则的字库。

     

    四.乱码的出现

    出现的原因:在编码与解码时使用了不同或者不兼容的字符集。

    就如同英语的bless与法语的bless,意思不同一样,同一个汉字在UTF-8中的编码与在GBK中的编码不同,就会出现筹码。

     

    五.MySQL出现乱码的原因

      主要分析:从客户端发起请求,到MySQL存储数据,再到下一次从表中取出数据到客户端,中间那些环节出现了编码/解码。

    (1)存入MySQL的过程

     

    1.客户端(也就是用户端)编码成二进制流。

    2. MySQL Server解码。

    3.Client编码向表编码转换。

    详细的过程为:

    • 在terminal中使用输入法输入
    • terminal中气字符编码转换成二进制流
    • 二进制流通过MySQL客户端传输到MySQL Server
    • Server通过character-set-client解码
    • 判断character-set-client和目标表的charset是否一致
    • 如果不一致则进行一次从client-charset到table-charset的字符编码转换
    • 将转换后的字符编码二进制流保存到文件中

    (2)从MySQL表中取出数据的过程

    1.table-charset向character-set-client编码的转换。

    2.MySQL Server根据character-set-client编码得到二进制流。

    3.client解码展示。

    详细过程为:

    从文件读出二进制数据流

    用表字符集编码进行解码

    将数据转换成character-set-client的编码

    使用character-set-client编码为二进制流

    Server通过网络等传输到远端的client

    client通过bash配置的字符编码展示结果

    (3)造成MySQL乱码的原因

    1.存入和取出时对应环节的编码不一致

      如在存入时,我们客户端使用的UTF-8编码,而读出时,客户端却使用的windows的GBK编码。则会出现乱码。

    2.单个流程中三步的编码不一致

      上面的任意一幅图中的同方向的三步中,只有两步或者两步以上的编码有不一致,就有可能出现编码解码错误。如果不同的两个字符集之前无法进行无损编码转换,则一定会

    出现乱码。如:bash 是UTF8编码,MySQL的character-set-client配置成了GBK,而表结构的编码又是charaset=utf8,则肯定会出现乱码。

    (4)关于MySQL编码解码的问题

    从上面的图中可以看到,系统之前是用二进制流进行传输的,那为什么不直接将这串二进制流存入表文件,而还要在存储前进行两次编解码呢?

    1.Client to Server的编码解码原因是MySQL要对传来的二进制流做语法和词法解析,如果不做编码解码和校验,我们甚至不知道传输来的二进制流是insert 还是update。

    2.File to Engine的编码解码是为知道二进制流内的分词情况,例如从表里面取出某个字段的前两个字符的命令:select left(col,2) from table  ,存储引擎从文件诗篇这个column的值,再按照相应的编码进行分割,不同的编码分割的结果是不一样的(有的一个字符为两字节,有的为三字符等)。因此,在从数据文件读取数据后,如果不进行编码解码的话,在存储引擎同是无法进行字符级别的操作的。

    (5)如何避免乱码

      从上面的分析可以看出,只要做到:客户端,MySQL character-set-client,table-charset三个字符集完全一致就可以保证不出现乱码了。

     

    六 .Linux下修改字符集编码为UTF8,解决中文乱码问题

    (1)查看当前数据库的相关编码集

     可以看到,character_set_database和character_set_server的默认字符集还是latin1。

    注意:

    latin1是8bit 大小的字符集,latin1, ASCII,UTF8字符集的区别参考

    http://blog.sina.com.cn/s/blog_5edf2a9f0100sicm.html

    (2)修改mysql配置文件

      首先我们通过命令whereis找到mysql配置文件的位置。

    在/etc/mysql/中找到配置文件my.cnf里说明有

    因此我们将其复制到用户目录下,并修改其权限

    修改配置中的字符集

    在[client]里加入

    default-character-set=utf8

    在[mydqld]里加入

    character-set-server=utf8

    在[mysql]里加入

    default-character-set=utf8

    修改后,重启 mysql服务

    sudo /etc/init.d/mysql restart

    但是在我们再次使用mysql时,出现了下图中的问题

    原因是之前的步骤中我们修改了.my.cnf文件的权限,mysql担心这种文件被其它用户恶意修改,所以选择了忽略,改正这个问题

    再次启动,发现修改~/.my.cnf的并没有生效,先忽略这个问题,直接在/etc/mysql/my.cnf中修改,重启,查看字符集

    这次正确了。

    注意:暂没有发现为什么~/.my.cnf文件修改后没有起到作用。

     

     

  • 相关阅读:
    Angular 组件通信的三种方式
    Vue 之keep-alive的使用,实现页面缓存
    Angular Service设计理念及使用
    Git提交规范
    angular的生命周期
    CPU 是如何认识和执行代码的
    Ubuntu 常用软件
    UltraSQL / sqlserver-kit (SQLServer DBA )高手
    便宜的网站模板下载
    Audio over Bluetooth: most detailed information about profiles, codecs, and devices
  • 原文地址:https://www.cnblogs.com/chuiyuan/p/5198663.html
Copyright © 2020-2023  润新知