对于编程新手，字符编码问题一直都是个很棘手，很令人捉急的问题。在google上搜索字符编码，文章很多，其中不乏全面清楚地好文。 这篇文章应该不属于上述之列，只是为解决手头一个难题而去再次次研究这个问题中的一些总结与体会。
对于任何一个陌生的概念都可以用下面这三个问题描述一番：What? Why? How?
1, 什么是字符编码？为什么要对字符进行编码？
我们打开一个文本文件，看到了里面熟悉的文字，但是计算机看到的只是一堆01。字符编码就是制定一个规则，把我们认识的字符与计算机认识01串一一对应起来。 而文本阅读器做的事就是从硬盘上读一堆0和1，读取文件的编码信息，用特定的编码规则把01字符串映射成字符，显示在屏幕上。
2, 如何对字符进行编码？
下面常用到的几种编码格式：
- ASCII
历史就不说了，参考资料里有。
用1字节8位表示，但只用最后7位，第一位全为0，所以共128个符号，其中包括32个不能打印出来的控制符号。
- Unicode
Unicode是一个很大的集合，现在的规模可以容纳100多万个符号，基本上现在世界上人们使用的符号都包含在unicode里面了吧！但是Unicode只是一个符号集，它只规定了符号的二进制代码，却没有规定这个二进制代码应该如何存储（既然不涉及到存储，就没有用几位表示的问题）。正是由于unicode集合的庞大，导致必须找到一种合理的存储方式，减少空间占用量。
- UTF-8
UTF-8是Unicode的实现方式之一。
UTF-8最大的一个特点，就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度。
UTF-8的编码规则很简单，只有二条：
- 对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。
- 对于n字节的符号（n>1），第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的unicode码。
下表总结了编码规则，字母x表示可用编码的位。
Unicode符号范围 （十六进制） | UTF-8编码方式 （二进制） |
0000 0000-0000 007F | 0xxxxxxx |
0000 0080-0000 07FF | 110xxxxx 10xxxxxx |
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx |
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx |
已知"严"的unicode是4E25（100111000100101），根据上表，可以发现4E25处在第三行的范围内（0000 0800-0000 FFFF），因此" 严"的UTF-8编码需要三个字节，即格式是"1110xxxx 10xxxxxx 10xxxxxx"。然后，从"严"的最后一个二进制位开始，依次从后向前填入格式中的x，多出的位补0。这样就得到了，"严"的UTF-8编码是"11100100 10111000 10100101"，转换成十六进制就是E4B8A5。
- GB2312
GB2312-80的简称。简体中文最常用编码，使用2字节表示。共6763个汉字和682个其他符号。
- GBK
微软对GB2312的扩展。GBK 收录了 21886 个符号，它分为汉字区和图形符号区。汉字区包括 21003 个字符。
- BIG5
繁体中文常用这个。
3, 考虑的一些编码问题
- 输入法？
我感觉编辑器与输入法肯定是有通信的，输入法知道文本编辑器当前编码格式，然后将按键转化为对应的编码传给编辑器。具体原理不太清楚，以后有时间细研究。
- 记事本的编码
任何文本编辑器都会涉及到编码问题。记事本作为广大windows用户必备工具，有时成也记事本，败也记事本。有时用记事本打开一个文本文件，发现里面全是乱码。这是因为记事本能够解析的编码方式是有四种：ANSI, Unicode, UFF-8和Unicode big endian。你保存记事本的时候，弹出框最下面有个Encoding，它支持的编码就列在那里。因为我的系统是英文版，因此只有这四种，不同语言的操作系统可能还有其它的。 一个文本文件应该在它的文件头信息里面加入编码信息的，这个是给计算机上的读取程序读的，如果记事本打开的是乱码，把它所有支持的编码格式试一遍，如果不行就用word打开，word支持的编码格式非常多。记事本也给我们提供了一个非常方便的进行格式转换的方式，比如我有一个ANSI的文件想转换为UTF-8，只要用记事本打开，另存为，然后选择UTF-8编码格式就可以。
下面是对这四种编码方式的一些说明：
里面有四个选项：ANSI，Unicode，Unicode big endian 和 UTF-8。
1）ANSI是默认的编码方式。对于英文文件是ASCII编码，对于简体中文文件是GB2312编码（只针对Windows简体中文版，如果是繁体中文版会采用Big5码）。
2）Unicode编码指的是UCS-2编码方式，即直接用两个字节存入字符的Unicode码。这个选项用的little endian格式。
3）Unicode big endian编码与上一个选项相对应。
4）UTF-8编码，也就是上一节谈到的编码方法。
参考文章：