(转)ruby中日本文字的编码变换

 

日本文字的编码变换

在Ruby中，实现文字编码变换的库文件有nkf库文件和iconv库文件。

◆nkf库文件

nkf库文件由NKF模块提供。NKF模块原是用于UNIX而制作的nkf（Network Kanji code conversion Filter）的过滤器指令，现在在Ruby中也用得到。

在NKF模块中，通过指定文件编码，使用类似命令行选项的字符串。

NKF.nkf(可选字符串, string)

nkf的主要选项可参看下表。

^{选项                    意义}

^{-d                 在换行文字中删除CR}

^{-c                 在换行文字中增加CR}

^{-x                 不对半角假名进行转换}

^{-m0                限制对MIME的处理}

^{-e                  输出文字编码方式为EUC-JP}

^{-s                  输出文字编码方式为Shift_JIS}

^{-j                  输出文字编码方式为ISO-2022-JP}

^{-w                 输出文字编码方式为UTF-8(无BOM)}

^{-w8                输出文字编码方式为UTF-8(有BOM)}

^{-w80               输出文字编码方式为UTF-8(无BOM)}

^{-w16               输出文字编码方式为UTF-16(Big Endian/无BOM)}

^{-w16B              输出文字编码方式为UTF-16(Big Endian/有BOM)}

^{-w16B0             输出文字编码方式为UTF-16(Big Endian/无BOM)}

^{-w16L              输出文字编码方式为UTF-16(Little Endian/有BOM)}

^{-w16L0             输出文字编码方式为UTF-16(Little Endian/无BOM)}

^{-E                  输出文字编码方式为EUC-JP}

^{-S                 输出文字编码方式为Shift_JIS}

^{-J                  输出文字编码方式为ISO-2022-JP}

^{-W                 输出文字编码方式为UTF-8(无BOM)}

^{-W8                输出文字编码方式为UTF-8(有BOM)}

^{-W80               输出文字编码方式为UTF-8(无BOM)}

^{-W16               输出文字编码方式为UTF-16(Big Endian/无BOM)}

^{-W16B              输出文字编码方式为UTF-16(Big Endian/有BOM)}

^{-W16B0             输出文字编码方式为UTF-16(Big Endian/无BOM)}

^{-W16L              输出文字编码方式为UTF-16(Little Endian/有BOM)}

^{-W16L0             输出文字编码方式为UTF-16(Little Endian/无BOM)}

为了规避半角到全角的转换，或者电子邮件特有字符串处理之类的错误，在简单文字编码场合，通常使用-x和-m0选项（也可以写作-xm0）。我们看下面的将文字编码从EUC-JP转换为UTF-8的场合。

require "nkf"

euc_str = "日本语EUC"

utf8_str = NKF.nkf("-E –w –xm0", euc_str)

如果预先没有指定输入文字的编码方式，NKF会自动判别其编码，具体的例子如下：

require "nkf"

euc_str = "日本语EUC文字列"

utf8_str = NKF.nkf(" –w –xm0", euc_str)

作为独立的库文件，nkf不依赖于操作系统，因此在Ruby的各种环境中都能使用nkf。

◆iconv库文件

iconv库由iconv类提供。该库由系统平台提供，并用作文字编码的变换上。

iconv不能进行输入文字的编码的自动判别，因此输入文字和输出文字的编码格式都需要预先指定。变换开始时，通过iconv.new方法生成变换器，然后在iconv里实施编码变换，最后返回变换的结果。变换器使用结束后需要用close方法关闭它。

下面的例子是EUC-JP的字符串转换为UTF-8的例子，文字编码指定要遵循“输出编码，输入编码”的顺序。

require "iconv"

result = ""

cd = Iconv.open("UTF-8", "EUC-JP")

result << cd.iconv("あ")

result << cd.iconv("い")

result << cd.iconv("う")

cd.close

如果对File.open指定操作范围（注：{}中部分）的话，可以不需要close方法。

require "iconv"

result = ""

Iconv.open("UTF-8", "EUC-JP"){|cd|

result << cd.iconv("あ")

result << cd.iconv("い")

result << cd.iconv("う")

}

此外，可以不显式地生成变换器，直接使用Iconv.conv来完成编码变换。

require "iconv"

euc_str = "日本语EUC文字列"

utf8_str = Iconv.conv("UTF-8", "EUC-JP", euc_str)

iconv类功能与平台紧密相关，因此iconv库依赖于系统平台。也就是说，在不同的系统平台上，会出现同样的编码但名称不同的现象。还好，对于日语中文字编码来说，一般情况下电子邮件、Web一般采用“ISO-2022-JP”、“EUC-JP”、“SHIFT_JIS”、“UTF-8”的文字编码形式的场合要多一些。

如果想知道iconv库能处理哪些文字编码，可以使用下面的命令查看。

> iconv -l