1.问题描述
英文字母、数字、英文标点为单个字节,但汉字为2个字节或多个字节。在加载汉字时可能因为目标表字段定义长度不足,造成汉字被截断。现在需要识别这种被截断的字节。
2.解决原理
ASCII码的ASCII值小于128,汉字编码有多个兼容标准,不同编码有不同标准。如果是GBK编码这两个字节必须都大于0xa0,如果是UNICODE编码这2个字节都必须大于128。
可以截取字符串,判断当前字节的ASCII值是否小于128即可。
create multiset table aaa ,no fallback( col1 varchar(1) character set latin not null ,col2 varchar(5) character set latin not null ) no primary index; insert into aaa values('?','a中a文');
sel ascii(substr(col2,1,1)),ascii(substr(col2,2,1)),ascii(substr(col2,3,1)),ascii(substr(col2,4,1)),ascii(substr(col2,5,1)) from aaa;
参考文档: