• mysql 解决生僻字,特殊字符插入失败


    MySQL 的 utf8 实际上不是真正的 UTF-8。utf8 只支持每个字符最多三个字节,而真正的 UTF-8 是每个字符最多四个字节。MySQL 一直没有修复这个 bug,他们在 2010 年发布了一个叫作 utf8mb4 的字符集,绕过了这个问题。当然,他们并没有对新的字符集广而告之(可能是因为这个 bug 让他们觉得很尴尬),以致于现在网络上仍然在建议开发者使用 utf8,但这些建议都是错误的。

    简单概括如下:

    • MySQL 的 utf8mb4 是真正的 UTF-8。

    • MySQL 的 utf8 是一种专属的编码,它能够编码的 Unicode 字符并不多。
      所有在使用 utf8 的 MySQL 和 MariaDB 用户都应该改用 utf8mb4,永远都不要再使用 utf8。

    • 为什么会有UTF8MB4?
      既然utf8应付日常使用完全没有问题,那为什么还要使用utf8mb4呢? 低版本的MySQL支持的utf8编码,最大字符长度为 3 字节,如果遇到 4 字节的字符就会出现错误了。三个字节的 UTF-8 最大能编码的 Unicode 字符是 0xFFFF,也就是 Unicode 中的基本多文平面(BMP)。也就是说,任何不在基本多文平面的 Unicode字符,都无法使用MySQL原有的 utf8 字符集存储。这些不在BMP中的字符包括哪些呢?最常见的就是Emoji 表情(Emoji 是一种特殊的 Unicode 编码,常见于 ios 和 android 手机上),和一些不常用的汉字,以及任何新增的 Unicode 字符等等。

    • UTF-8编码
      理论上将, UTF-8 格式使用一至六个字节,最大能编码 31 位字符。最新的 UTF-8 规范只使用一到四个字节,最大能编码21位,正好能够表示所有的 17个 Unicode 平面。关于UTF编码,请阅读《常见编码总结》一文。
      而utf8 则是 Mysql 早期版本中支持的一种字符集,只支持最长三个字节的 UTF-8字符,也就是 Unicode 中的基本多文本平面。这可能是因为在MySQL发布初期,基本多文种平面之外的字符确实很少用到。而在MySQL5.5.3版本后,要在 Mysql 中保存 4 字节长度的 UTF-8 字符,就可以使用 utf8mb4 字符集了。例如可以用utf8mb4字符编码直接存储emoj表情,而不是存表情的替换字符。
      为了获取更好的兼容性,应该总是使用 utf8mb4 而非 utf8,事实上,最新版的phpmyadmin默认字符集就是utf8mb4。诚然,对于 CHAR 类型数据,使用utf8mb4 存储会多消耗一些空间。

    • 那么utf8mb4比utf8多了什么的呢?
      多了emoji编码支持.
      如果实际用途上来看,可以给要用到emoji的库或者说表,设置utf8mb4.
      比如评论要支持emoji可以用到.
      建议普通表使用utf8 如果这个表需要支持emoji就使用utf8mb4
      新建mysql库或者表的时候还有一个排序规则
      utf8_unicode_ci比较准确,utf8_general_ci速度比较快。通常情况下 utf8_general_ci的准确性就够我们用的了,在我看过很多程序源码后,发现它们大多数也用的是utf8_general_ci,所以新建数据 库时一般选用utf8_general_ci就可以了
      如果是utf8mb4那么对应的就是 utf8mb4_general_ci utf8mb4_unicode_ci

    查询系统字符编码变量 (最好不要使用连接工具 navica 等,查出来的不准,使用终端,cmd 等)

    SHOW VARIABLES WHERE Variable_name LIKE 'character_set_%' OR Variable_name LIKE 'collation%';
    
    • 未修改之前


       
      image.png

    修改设置

    • 修改数据库编码及字符集
    ALTER DATABASE db_name(你的数据库) CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci;
    
    • 给没有设置编码的表设置编码
    alter table table_name(你的表名) default character set utf8mb4 collate=utf8mb4_general_ci;
    
    • 批量生成修改所有表编码的 sql 然后复制执行
    SELECT 
    CONCAT("ALTER TABLE `", TABLE_NAME,"` default character set utf8mb4 collate=utf8mb4_general_ci;") 
    AS target_tables
    FROM INFORMATION_SCHEMA.TABLES
    WHERE TABLE_SCHEMA = "db_name" (这里是数据库名)
    AND TABLE_TYPE="BASE TABLE"
    
    • 修改表字段编码
    ALTER TABLE temp convert to CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
    
    • 批量生成修改所有表字段编码的 sql 然后复制执行
    SELECT 
    CONCAT("ALTER TABLE `", TABLE_NAME,"` convert to CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;") 
    AS target_tables
    FROM INFORMATION_SCHEMA.TABLES
    WHERE TABLE_SCHEMA = "db_name" (这里是数据库名)
    AND TABLE_TYPE="BASE TABLE"
    
    • 修改 my.ini 文件或者 my-default.int 文件
    [client]
    default-character-set = utf8mb4
    
    [mysql]
    default-character-set = utf8mb4
    
    [mysqld]
    # 设置表字段排序规则
    init_connect='SET collation_connection = utf8mb4_unicode_ci'
    # set names utf8 是用于设置编码,可以再在建数据库的时候设置,也可以在创建表的时候设置,或只是对部分字段进行设置
    init_connect='SET NAMES utf8mb4'
    # 设置数据库编码
    character-set-server=utf8mb4
    collation-server=utf8mb4_unicode_ci
    # 此处是忽略客户端的字符集,使用服务器的设置
    skip-character-set-client-handshake
    

    重新启动

    修改之后

     
     



    作者:吉他手_c156
    链接:https://www.jianshu.com/p/b821f69e189a
    来源:简书
    著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

  • 相关阅读:
    一些小题
    文件操作_菜单<代码>
    文件操作
    linux基础学习
    列表,元组,字典
    系统集成项目管理工程师高频考点(第六章)
    系统集成项目管理工程师高频考点(第五章)
    系统集成项目管理工程师高频考点(第四章)
    系统集成项目管理工程师高频考点(第三章)
    信息系统项目管理师高频考点(第一章)
  • 原文地址:https://www.cnblogs.com/Neil223/p/15346052.html
Copyright © 2020-2023  润新知