• 字符集


    alter database apple default character set = 'utf8mb4';
    alter table iphone convert to character set utf8mb4;


    # 字符集字符序问题:
    
    character-set-server/default-character-set:服务器字符集,默认情况下所采用的。
    character-set-database:数据库字符集。
    character-set-table:数据库表字符集。
    # 优先级依次增加。所以一般情况下只需要设置character
    -set-server,而在创建数据库和表时不特别指定字符集,这样统一采用character-set-server字符集。
    character-set-client:客户端的字符集。客户端默认字符集。当客户端向服务器发送请求时,请求以该字符集进行编码。
    character-set-results:结果字符集。服务器向客户端返回结果或者信息时,结果以该字符集进行编码。
    在客户端,如果没有定义character
    -set-results,则采用character-set-client字符集作为默认的字符集。所以只需要设置character-set-client字符集。 最佳方案:
    server字符集
    =数据库字符集=表字符集=会话字符集=客户端显示字符集

    MySQL在 5.5.3 之后增加了 utf8mb4 字符编码,mb4即 most bytes 4。简单说 utf8mb4 是 utf8 的超集并完全兼容utf8,能够用四个字节存储更多的字符。

    而utf8 是 utf8mb3 的别名。标准的 UTF-8 字符集编码是可以用 1~4 个字节去编码21位字符,但是MySQL其实实现的utf8只是使用3个字节而已, utf8mb4才是真正意义上的 utf8

    如果数据库表字段设置的字符集不是utf8mb4,却插入类似emjoy表情的时候:

    • 严格模式 下会出现 Incorrect string value: /xF0/xA1/x8B/xBE/xE5/xA2… for column 'name' 这样的错误
    • 非严格模式下此后的数据会被截断

    排序字符集

    Refer toCollation Naming Conventions

    SuffixMeaningRemark
    _ai Accent insensitive  
    _as Accent sensitive  
    _ci Case insensitive 不分区大小写
    _cs case-sensitive 区分大小写
    _bin Binary 二进制存储,区分大小写

    utf8mb4_ unicode_ ci VS utf8mb4_ general_ ci

    Refer toWhat's the difference between utf8_general_ci and utf8_unicode_ci

    • utf8_general_ci校对速度快,但准确度稍差。
    • utf8_unicode_ci准确度高,但校对速度稍慢。

    数据库一般默认选择 utf8mb4_general_ci ;
    如果你的应用有德语、法语或者俄语,请一定使用utf8mb4_unicode_ci

    配置

    vim /etc/my.cnf
    [client] 
    default-character-set = utf8mb4 
    
    [mysql] 
    default-character-set = utf8mb4 
    
    [mysqld] 
    # character-set-client-handshake = FALSE 
    character-set-server = utf8mb4
    collation
    -server = utf8mb4_general_ci
    init_connect
    ='SET NAMES utf8mb4'

    检查目前MySQL的字符集

    tj1-using-glc-db01.kscn((none)) > SHOW VARIABLES WHERE Variable_name LIKE 'character\_set\_%' OR Variable_name LIKE 'collation%';
    +--------------------------+--------------------+
    | Variable_name            | Value              |
    +--------------------------+--------------------+
    | character_set_client     | utf8mb4            |
    | character_set_connection | utf8mb4            |
    | character_set_database   | utf8mb4            |
    | character_set_filesystem | binary             |
    | character_set_results    | utf8mb4            |
    | character_set_server     | utf8mb4            |
    | character_set_system     | utf8               |
    | collation_connection     | utf8mb4_general_ci |
    | collation_database       | utf8mb4_general_ci |
    | collation_server         | utf8mb4_general_ci |
    +--------------------------+--------------------+
    10 rows in set (0.01 sec)
    
    Fri Aug 28 17:51:07 2020

    总结

    • mysql 版本 5.5.3+
    • MySQL Connector/J Java驱动5.1.13+
    • /etc/my.cnf 配置中 添加配置,详见上面
    • 排序字符集选用 utf8mb4_unicode_ci
    • 列(字段)> 表 > 数据库

    备注:
    其实只要数据库支持utfbmb4(show char set),及时MySQL配置(/etc/my.cnf)中配置的默认字符集是utf8,也可以直接指定数据库、表、字段的字符集为utf8mb4,然后在连接的时候指定字符集为utf8mb4即可。
    比如设置Java的连接参数中characterEncoding=utf8mb4

    查看MySQL支持的字符集列表:

    tj1-using-glc-db01.kscn((none)) > show char set;
    +----------+---------------------------------+---------------------+--------+
    | Charset  | Description                     | Default collation   | Maxlen |
    +----------+---------------------------------+---------------------+--------+
    | big5     | Big5 Traditional Chinese        | big5_chinese_ci     |      2 |
    | dec8     | DEC West European               | dec8_swedish_ci     |      1 |
    | cp850    | DOS West European               | cp850_general_ci    |      1 |
    | hp8      | HP West European                | hp8_english_ci      |      1 |
    | koi8r    | KOI8-R Relcom Russian           | koi8r_general_ci    |      1 |
    | latin1   | cp1252 West European            | latin1_swedish_ci   |      1 |
    | latin2   | ISO 8859-2 Central European     | latin2_general_ci   |      1 |
    | swe7     | 7bit Swedish                    | swe7_swedish_ci     |      1 |
    | ascii    | US ASCII                        | ascii_general_ci    |      1 |
    | ujis     | EUC-JP Japanese                 | ujis_japanese_ci    |      3 |
    | sjis     | Shift-JIS Japanese              | sjis_japanese_ci    |      2 |
    | hebrew   | ISO 8859-8 Hebrew               | hebrew_general_ci   |      1 |
    | tis620   | TIS620 Thai                     | tis620_thai_ci      |      1 |
    | euckr    | EUC-KR Korean                   | euckr_korean_ci     |      2 |
    | koi8u    | KOI8-U Ukrainian                | koi8u_general_ci    |      1 |
    | gb2312   | GB2312 Simplified Chinese       | gb2312_chinese_ci   |      2 |
    | greek    | ISO 8859-7 Greek                | greek_general_ci    |      1 |
    | cp1250   | Windows Central European        | cp1250_general_ci   |      1 |
    | gbk      | GBK Simplified Chinese          | gbk_chinese_ci      |      2 |
    | latin5   | ISO 8859-9 Turkish              | latin5_turkish_ci   |      1 |
    | armscii8 | ARMSCII-8 Armenian              | armscii8_general_ci |      1 |
    | utf8     | UTF-8 Unicode                   | utf8_general_ci     |      3 |
    | ucs2     | UCS-2 Unicode                   | ucs2_general_ci     |      2 |
    | cp866    | DOS Russian                     | cp866_general_ci    |      1 |
    | keybcs2  | DOS Kamenicky Czech-Slovak      | keybcs2_general_ci  |      1 |
    | macce    | Mac Central European            | macce_general_ci    |      1 |
    | macroman | Mac West European               | macroman_general_ci |      1 |
    | cp852    | DOS Central European            | cp852_general_ci    |      1 |
    | latin7   | ISO 8859-13 Baltic              | latin7_general_ci   |      1 |
    | utf8mb4  | UTF-8 Unicode                   | utf8mb4_general_ci  |      4 |
    | cp1251   | Windows Cyrillic                | cp1251_general_ci   |      1 |
    | utf16    | UTF-16 Unicode                  | utf16_general_ci    |      4 |
    | utf16le  | UTF-16LE Unicode                | utf16le_general_ci  |      4 |
    | cp1256   | Windows Arabic                  | cp1256_general_ci   |      1 |
    | cp1257   | Windows Baltic                  | cp1257_general_ci   |      1 |
    | utf32    | UTF-32 Unicode                  | utf32_general_ci    |      4 |
    | binary   | Binary pseudo charset           | binary              |      1 |
    | geostd8  | GEOSTD8 Georgian                | geostd8_general_ci  |      1 |
    | cp932    | SJIS for Windows Japanese       | cp932_japanese_ci   |      2 |
    | eucjpms  | UJIS for Windows Japanese       | eucjpms_japanese_ci |      3 |
    | gb18030  | China National Standard GB18030 | gb18030_chinese_ci  |      4 |
    +----------+---------------------------------+---------------------+--------+
    41 rows in set (0.01 sec)
    
    Fri Aug 28 17:50:06 2020
     

    建议

    数据库在设置字符集的时候,设置成utf8mb4格式!

    字符集转化

     ###########################################################################

    character_set_server 
    collation_server
    character_set_database
    collation_database

     

    character_set_client
    character_set_results


    character_set_connection <===character_set_client
    collation_connection

     

    skip-character-set-client-handshake

     

     client (character_set_client) -----> character_set_connection -------> mysqld  ------> client(character_set_results)

     

    存在三次编码转换过程:

    1)mysql client 使用 character_set_client编码的字符------> character_set_connection 编码字符

        ------> mysqld :这里需要从 character_set_connection 编码格式二进制流解码成 字符,然后使用 character_set_server/character_set_database 对字符进行再次编码,生成二进制流,存储时,就是存储再次编码的二进制流数据。

    2)读取数据时,会使用 character_set_server/character_set_database 对读取到的二级制流进行 解码成 字符,然后使用 character_set_results 对字符进行二次编码,生成二进制流,发给 mysql client.

    所以 使用 set names 'xxx' 命令,结合 character_set_server 参数,可以将 整个过程的 字符集设置成相同的,就不会存在编码转换的过程。

     1.-

     2.-

      在处理客户端和服务器之间的连接的流量时涉及附加的字符集和校对系统变量。

      每个客户端都有特定于会话的连接相关字符集和校对系统变量。

      这些会话系统变量值在连接时初始化,但可以在会话中更改。

     3.-

    • 服务器收到语句后应该将语句翻译成什么字符集?

        要确定这一点,服务器使用 character_set_connection 和collation_connection 系统变量:

     4.-

    • 在将查询结果发送回客户端之前,服务器应该将哪些字符集转换为结果?

      character_set_results 系统变量指示在其中服务器查询结果返回到客户端的字符集。这包括结果数据,如列值,结果元数据(如列名称)和错误消息。

      要告诉服务器不执行结果集或错误消息的转换,请设置 character_set_results为 NULLbinary

     5.-

    • 要查看适用于当前会话的字符集和排序规则系统变量的值,请使用以下语句:
     
    SELECT * FROM performance_schema.session_variables
    WHERE VARIABLE_NAME IN (
    'character_set_client', 'character_set_connection',
    'character_set_results', 'collation_connection'
    ) ORDER BY VARIABLE_NAME;

    6.-

    • C应用程序可以mysql_options()在连接到服务器之前通过以下方式调用,根据操作系统设置使用字符集自动检测 :

      mysql_options(mysql,
                    MYSQL_SET_CHARSET_NAME,
                    MYSQL_AUTODETECT_CHARSET_NAME);
    • 每个客户端都支持一个 --default-character-set 选项,该选项允许用户显式指定字符集以覆盖客户端否则确定的任何默认值。

     7.-

    • 使用mysql客户端,要使用与默认值不同的字符集,SET NAMES每次连接到服务器时都可以显式执行 语句(请参阅客户端程序连接字符集配置)。要更轻松地完成相同的结果,请在选项文件中指定字符集。例如,以下选项文件设置更改koi8r每次调用mysql时设置的三个与连接相关的字符集系统变量:
     
     
       [mysql]
        default-character-set=koi8r


    8.-
    • 如果您正在使用启用了自动重新连接的mysql客户端(不建议这样做),则最好使用charset命令而不是SET NAMES。例如:
      mysql> charset koi8r
      Charset changed

        该charset命令发出一个 SET NAMES语句,并且还更改mysql 在连接断开后重新连接时使用的默认字符集。

        配置客户端程序时,还必须考虑它们执行的环境。请参见 第10.5节“配置应用程序字符集和排序规则”

     9.-

        SET character_set_client = charset_name;
        SET character_set_results = charset_name;
        SET character_set_connection = charset_name;

    10.-

    • SET CHARACTER SET 'charset_name' 一个语句相当于这三个语句:
      SET character_set_client charset_name;
      SET character_set_results charset_name;
      SET collation_connection @@collation_database;

    11.-

    • utf8mb4MySQL 5.7和8.0之间 的默认排序规则不同(utf8mb4_general_ci对于5.7,utf8mb4_0900_ai_ci对于8.0)。

    • 当8.0客户端请求一个字符集时 utf8mb4,它发送给服务器的是默认的8.0 utf8mb4排序规则; 也就是说utf8mb4_0900_ai_ci

    • utf8mb4_0900_ai_ci 仅在MySQL 8.0中实现,因此5.7服务器无法识别它。

    • 由于5.7服务器无法识别 utf8mb4_0900_ai_ci,因此无法满足客户端字符集请求,并回退到其默认字符集和排序规则(latin1和 latin1_swedish_ci)。

    在这种情况下,客户端仍然可以在连接后utf8mb4通过发出SET NAMES 'utf8mb4'语句来使用 。得到的排序规则是5.7默认utf8mb4 排序规则; 就是这样utf8mb4_general_ci。如果客户端另外需要进行整理utf8mb4_0900_ai_ci,则无法实现该目标,因为服务器无法识别该整理。客户端必须愿意使用不同的 utf8mb4排序规则,或者从MySQL 8.0或更高版本连接到服务器。

     12.-

    在MySQL 4.0版中, 服务器和客户端都有一个“ 全局 ”字符集,并决定服务器管理员使用哪个字符。这从MySQL 4.1版开始改变。现在发生的是“ 握手 ”,如 第10.4节“连接字符集和排序规则”中所述

    当客户端连接时,它会向服务器发送它要使用的字符集的名称。服务器使用的名称,设置 character_set_client, character_set_resultscharacter_set_connection 系统变量。实际上,服务器SET NAMES使用字符集名称执行 操作。

    这样做的效果是你无法控制的客户端字符由开始设定的mysqld用 --character-set-server=utf8。但是,一些亚洲客户更喜欢MySQL 4.0的行为。为了能够保留这种行为,我们添加了一个 mysqld开关, --character-set-client-handshake可以关闭它 --skip-character-set-client-handshake。如果启动mysqld的使用 --skip-character-set-client-handshake,那么,当客户端连接时,它发送的字符集的名称,它希望使用的服务器。但是,服务器会忽略来自客户端的此请求

    举例来说,假设您最喜欢的服务器字符集是latin1(不太可能在CJK区域,但这是默认值)。进一步假设客户端使用, utf8因为这是客户端操作系统支持的内容。现在,使用latin1默认字符集启动服务器 :

    mysqld --character-set-server=latin1

    然后使用默认字符集启动客户端 utf8

    mysql --default-character-set=utf8

    通过查看以下输出可以看到生成的设置 SHOW VARIABLES

    mysql> SHOW VARIABLES LIKE 'char%';
    +--------------------------+----------------------------------------+
    | Variable_name            | Value                                  |
    +--------------------------+----------------------------------------+
    | character_set_client     | utf8                                   |
    | character_set_connection | utf8                                   |
    | character_set_database   | latin1                                 |
    | character_set_filesystem | binary                                 |
    | character_set_results    | utf8                                   |
    | character_set_server     | latin1                                 |
    | character_set_system     | utf8                                   |
    | character_sets_dir       | /usr/local/mysql/share/mysql/charsets/ |
    +--------------------------+----------------------------------------+

    现在停止客户端,并使用mysqladmin停止服务器 。然后再次启动服务器,但这次告诉它跳过这样的握手:

    mysqld --character-set-server=utf8 --skip-character-set-client-handshake

    utf8再次 启动客户端作为默认字符集,然后显示结果设置:

    mysql> SHOW VARIABLES LIKE 'char%';
    +--------------------------+----------------------------------------+
    | Variable_name            | Value                                  |
    +--------------------------+----------------------------------------+
    | character_set_client     | latin1                                 |
    | character_set_connection | latin1                                 |
    | character_set_database   | latin1                                 |
    | character_set_filesystem | binary                                 |
    | character_set_results    | latin1                                 |
    | character_set_server     | latin1                                 |
    | character_set_system     | utf8                                   |
    | character_sets_dir       | /usr/local/mysql/share/mysql/charsets/ |
    +--------------------------+----------------------------------------+

    通过比较不同的结果可以看出, SHOW VARIABLES如果使用该--skip-character-set-client-handshake 选项,服务器将忽略客户端的初始设置 。

     参考: https://dev.mysql.com/doc/refman/8.0/en/faqs-cjk.html 

                A.11 MySQL 8.0 FAQ:MySQL中文,日文和韩文字符集

  • 相关阅读:
    C语言-结构体内存对齐
    Wireshark-配合tcpdump对Android(安卓)手机抓包
    Python-技巧
    矩阵白化
    非负矩阵分解(3):拉格朗日乘子法求解
    非负矩阵分解(2):算法推导与实现
    非负矩阵分解(1):准则函数及KL散度
    自适应滤波:递归最小二乘
    自适应滤波:最小二乘法
    自适应滤波:奇异值分解SVD
  • 原文地址:https://www.cnblogs.com/igoodful/p/13218112.html
Copyright © 2020-2023  润新知