提到用正则表达式匹配汉字,很容易搜到这个[\u4e00-\u9fa5],但是它不算全面,不包含一些生僻汉字。
本文对此问题做一个梳理。
以下是比较全面的汉字Unicode分布,参考Unicode 10.0标准(2017年6月发布):
区块 | 范围 | 实际汉字个数/ 备注 |
正则式 |
CJK统一汉字 |
4E00-62FF, 6300-77FF, 7800-8CFF, 8D00-9FFF. |
20,971 常见 |
[\u4E00-\u9FFF] 或 [一-鿆] |
CJK统一汉字扩展A区 | 3400-4DBF. | 6,582 罕见 |
[\u3400-\u4DBF] |
CJK统一汉字扩展B区 |
20000-215FF, 21600-230FF, 23100-245FF, 24600-260FF, 26100-275FF, 27600-290FF, 29100-2A6DF. |
42,711 罕见,历史 |
[\U00020000-\U0002A6DF] |
CJK统一汉字扩展C区 | 2A700-2B73F. | 4,149 罕见,历史 |
[\U0002A700-\U0002B73F] |
CJK统一汉字扩展D区 | 2B740–2B81F. | 222 不常见,仍在使用 |
[\U0002B740-\U0002B81F] |
CJK统一汉字扩展E区 | 2B820–2CEAF. | 5,762 罕见,历史 |
[\U0002B820-\U0002CEAF] |
CJK统一汉字扩展F区 | 2CEB0-2EBEF. | 7,473 罕见,历史 |
[\U0002CEB0-\U0002EBEF] |
CJK兼容汉字 | F900–FAFF. | 472 重复、可统一变体、公司定义 |
[\uF900-\uFAFF] |
CJK兼容汉字增补 | 2F800-2FA1F. | 542 可统一变体 |
[\U0002F800-\U0002FA1F] |
★ 如果想表示最普遍的汉字,用:
[\u4E00-\u9FFF] 或 [一-鿆]
共有20950个汉字,包括了常用简体字和繁体字,镕等字。
基本就是GBK的所有(21003个)汉字。也包括了BIG5的所有(13053个)繁体汉字。
一般情况下这个就够用了。
说明:
仅仅未包括出现在GBK里的CJK兼容汉字的21个汉字:郎凉秊裏隣兀嗀﨎﨏﨑﨓﨔礼﨟蘒﨡﨣﨤﨧﨨﨩
CJK兼容汉字用于转码处理,日常中是用不到的,所以不包括也没什么问题。
注意此凉非彼凉,兀也不是常用的那个,虽然用眼睛看是一样的,参见 http://www.zhihu.com/question/20697984
★ 如果想表示BMP之内的汉字,也就是Unicode值<=0xFFFF之内的所有汉字,用:
[\u4E00-\u9FFF\u3400-\u4DBF\uF900-\uFAFF]
这个包含但不限于GBK定义的汉字,共有28025个汉字。
说明:
和上面相比,主要是多了CJK统一汉字扩展A区,这是1999年收录到Unicode 3.0标准里的6,582个汉字。
CJK统一汉字扩展A区,包括了东亚各地区(陆港台日韩新越)的汉字,有很多康熙字典的繁体字。
★ 如果想尽可能表示所有的汉字,用:
[\u4E00-\u9FFF\u3400-\u4DBF\uF900-\uFAFF\U00020000-U0002EBEF]
这个包含上表的所有88342个汉字
说明:
1, 以上正则表达式不会匹配(英文、汉字的)标点符号,不会匹配韩国拼音字、日本假名。
2, 会匹配一些日本、韩国独有的汉字。
3, 包含了一些没有汉字的空位置,这通常不碍事。
4, \u及\U的正则语法在Python 3.5上测试通过。
有些正则表达式引擎不认\uFFFF和\UFFFFFFFF这样的语法,可以换成\x{FFFF}试一下;有些不支持BMP之外的范围,这就没办法处理CJK统一汉字扩展B~E区了,如notepad++。