C++之编码问题（Unicode，ASCII，本地默认）

本篇文章试图回答的问题：

1、char* pStr="我aａ";这句代码执行后，pStr指向的内存区域中存储的字节到底是根据什么码表而来的呢？该字符串占几个字节？

2、将一个VS2010的Windows程序设置了“使用Unicode字符集”到底意味着什么？

3、现在有一个文件，其存储内容未知（可能是文本，可能是图像，可能是视频），要求是：在文件最前面插入一串Unicode文本，插入完成后以文本程序打开该文件，插入的文本不会显示为乱码（该文件本身的内容不考虑）。——如何做到？

本人能力、精力有限，所言所感都基于自身的实践和有限的阅读、查阅，如有错误，欢迎拍砖，敬请赐教——博客园：钱智慧。

一：

用VS2010新建一个win32控制台应用程序TestChar，代码如下：

 1 #include <iostream>
 2 using namespace std;
 3 int main()
 4 {
 5     char* pStr="我aａ";
 6     cout<<sizeof("我aａ")<<endl;
 7     cout<<hex<<pStr[0]-0;
 8     cout<<pStr[1]-0<<endl;
 9     return 0;
10 }

打印结果如下：

分析：存储介质（内存、外存等）上存储的都是二进制数据，而对于字符信息的存储，先查码表进行解码，再把码以二进制信息存储，即pStr指向的这段内存中存储的都是字符们的编码：一个中文字符，一个英文字母，一个全角字母。要得到”我“的编码，默认会查找本地码表，本人是中文Win7系统，查找的是GB2312码表，而对照GB2312码表可发现，"我"的编码正是ced2，与打印一致（f是符号位，可无视）。另外GB2312是不会对英文字母进行编码的，因为英文字母属于半角字符，这类编码由ASCII码表负责，GB2312中的任何字符都占用两个字节，空字符也由ASCII负责编码，这就是为何上面的字符串占用的字节数目是6。可见，上面一句代码，其实涉及到了两张码表：ASCII码表和GB2312。

二：

新建一个MFC对话框程序，名为TestUnicodeChar。默认情况下，VS2010建的项目都是基于Unicode的，即打开项目的属性，在”字符集“设置中都是”使用Unicode字符集“，这到底是什么意思呢？莫非在程序中用的中文都是以Unicode字节进行存储的？由上面的TestChar程序可以看出并非如此，pStr中的"我”是以GB2312进行存储的。又或者，源文件（h文件、cpp文件等）在磁盘上是以Unicode进行编码存储的？也不是，源文件存储默认也是以本地GB2312进行存储的。验证方式：用UE编辑器随便打开一个设置了“使用Unicode字符集”项目的某个源文件，比如打开本项目中的TestUnicodeCharDlg.cpp文件，在UE中以16进制的形式查看该文件内容，可以发现其前两个字节并非FF FE（这是Unicode文件的标识），你随便找一个中文，对照其16进制找到其编码，然后跟GB2312码表中的该中文的编码对照即可验证。这是一个GB2312码表的网页链接：

http://tool.xker.com/gb2312tbl.php

我们知道，在C++中，有char和string，为了支持Unicode字符，还有wchar_t和wstring，我们可以认为string是基于char的，而wstring是基于wchar_t的。为什么要引入Unicode呢，只用char和string难道不能保存含有中文的字符（串）吗？由TestChar程序，我们知道完全可以，并且采用的是GB2312编码，问题是你无法确定一个类似pStr的混合串的字符数目，比如：string str="我a"，你调用string的length方法不能准确得到str的长度，这给编程带来了不便。所以你可以选用wstring和wchar:wstring wstr=L"我a"，这时你再调用wstring的length方法就能准确得到了，其中L前缀可以使后面紧跟的字符串解释成宽字符串（Unicode）。因为Unicode对任何字符都采用2个字节进行编码，所以length的实现想必也很简单：每两个字节算一个字符，进而可以方便得到字符串的长度，这便是Unicode优于多字节编码的地方：试想，如果采用多字节编码，那么要实现基于这种编码的字符串类的length方法会非常头疼。Unicode浪费了存储空间但带来了编程上的简便。（关于这方面的详细内容可以参考《Windows程序设计第5版》第1章）

在Windows中，有这样一些宏：_T,TEXT,TCHAR,CString，它们根据不同的设定有不同的含义。先看一下它们的使用:

在TestUnicodeCharDlg.cpp的OnPaint方法中加上如下代码：

1 TCHAR * pStr=TEXT("a我");//_T与TEXT的含义是一样的
2 CString str1=TEXT("a我");
3 CString str2=L"a我";

如果程序定义了UNICODE宏，则_T和TEXT（二者含义和用法完全一样）便会把括号内的字符串解释为UNICODE字符串，TCHAR便会替换为wchar_t，CString便会替换为CStringW，否则（即没有定义UNICODE宏），都会解释为相应的char版本。而L前缀不是宏，类似强转：不管有没有定义UNICODE宏，都把后面的字符串解释为UNICODE字符串。而设置“使用UNICODE字符集”就相当于定义UNICODE宏，即该设置仅仅是影响了一些宏的行为。若把该项目的“使用Unicode字符集”设置改为“未使用”，则编译会出错，因为此时str2就是一个CStringA实例，你不能把一个L前缀的字符串（Unicode字符串）赋值给它。

三：

第三个问题本质上就是往一个文件中写Unicode字符串的问题。涉及到编码问题的文件操作始终牢记一点：以什么编码写，就以编码读。在TestUnicodeChar程序的OnInitDialog函数中加入如下代码：

 1 BOOL CTestUnicodeCharDlg::OnInitDialog()
 2 {
 3     CDialogEx::OnInitDialog();
 4 
 5     // 将“关于...”菜单项添加到系统菜单中。
 6 
 7     // IDM_ABOUTBOX 必须在系统命令范围内。
 8     ASSERT((IDM_ABOUTBOX & 0xFFF0) == IDM_ABOUTBOX);
 9     ASSERT(IDM_ABOUTBOX < 0xF000);
10 
11     CMenu* pSysMenu = GetSystemMenu(FALSE);
12     if (pSysMenu != NULL)
13     {
14         BOOL bNameValid;
15         CString strAboutMenu;
16         bNameValid = strAboutMenu.LoadString(IDS_ABOUTBOX);
17         ASSERT(bNameValid);
18         if (!strAboutMenu.IsEmpty())
19         {
20             pSysMenu->AppendMenu(MF_SEPARATOR);
21             pSysMenu->AppendMenu(MF_STRING, IDM_ABOUTBOX, strAboutMenu);
22         }
23     }
24 
25     // 设置此对话框的图标。当应用程序主窗口不是对话框时，框架将自动
26     //  执行此操作
27     SetIcon(m_hIcon, TRUE);            // 设置大图标
28     SetIcon(m_hIcon, FALSE);        // 设置小图标
29 
30     // TODO: 在此添加额外的初始化代码
31     CFile myFile;
32 
33 
34     if ( myFile.Open( _T("c:\myfile.txt"), CFile::modeCreate |   
35         CFile::modeReadWrite ) )
36     {
37 
38         CString str=TEXT("a我");
39         //myFile.Write("xffxfe",2);
40         myFile.Write( str, str.GetLength()*sizeof(TCHAR) ); 
41         myFile.Flush();
42     }
43     
44 
45     return TRUE;  // 除非将焦点设置到控件，否则返回 TRUE
46 }

运行程序，然后用写字板、记事本、NotePad++、UE（UEdit）分别打开mfile.txt发现，有的能正常显示，有的则乱码。要知道，你往myfile.txt写进去的是两个字符的Unicode编码，用某文本程序去打开myfile.txt，倘若该程序默认情况下读取文本时是按Unicode来解析的，则不会乱码，否则就乱码。我们把注释的那行代码的注释拿掉，用任何支持Unicode的文本程序去打开myfile.txt就不会出错了，因为一个文本中的前两个字节FF FE便向试图打开该文本的程序表明该文本应该用Unicode进行解析（你可以用NotePad++新建几个Unicode格式的文本，随便保存几个字符，然后用UE以16进制格式查看便可知Unicode文本的前两个字节都是FF FE）。

另外，经常遇到有人问这样的问题：CString如何转换为char*？问这个问题之前，最好问下自己：我的目的是什么，为何要进行这样的转换，当前项目有没有设置Unicode。要知道，如果设置了Unicode，则CString存储的是Unicode字符串，转换为char*后，你如果直接显示这个char*或者写到文件中（没有把FF FE写到文件开始处）然后打开，则会（假如打开文件的程序默认不以Unicode进行解析）出现乱码，所以，这种情况下，转换为char*的意义不大——这不是说不能把Unicode串转为char*，这完全是可行的，本质上这只是在把一个Unicode字符串的内存内容"活生生”取出来而已。不管怎样，下面的代码重新修改了OnInitDialog函数，演示了几种情况：

 1 BOOL CTestUnicodeCharMFCDlg::OnInitDialog()
 2 {
 3     CDialogEx::OnInitDialog();
 4 
 5     // 将“关于...”菜单项添加到系统菜单中。
 6 
 7     // IDM_ABOUTBOX 必须在系统命令范围内。
 8     ASSERT((IDM_ABOUTBOX & 0xFFF0) == IDM_ABOUTBOX);
 9     ASSERT(IDM_ABOUTBOX < 0xF000);
10 
11     CMenu* pSysMenu = GetSystemMenu(FALSE);
12     if (pSysMenu != NULL)
13     {
14         BOOL bNameValid;
15         CString strAboutMenu;
16         bNameValid = strAboutMenu.LoadString(IDS_ABOUTBOX);
17         ASSERT(bNameValid);
18         if (!strAboutMenu.IsEmpty())
19         {
20             pSysMenu->AppendMenu(MF_SEPARATOR);
21             pSysMenu->AppendMenu(MF_STRING, IDM_ABOUTBOX, strAboutMenu);
22         }
23     }
24 
25     // 设置此对话框的图标。当应用程序主窗口不是对话框时，框架将自动
26     //  执行此操作
27     SetIcon(m_hIcon, TRUE);            // 设置大图标
28     SetIcon(m_hIcon, FALSE);        // 设置小图标
29 
30     // TODO: 在此添加额外的初始化代码
31     CFile myFileW,myFileA,myFileCharArrow,myFileWOrA;
32 
33 
34     if ( myFileW.Open( _T("c:\myfileW.txt"), CFile::modeCreate |   
35         CFile::modeReadWrite )  && 
36         myFileA.Open( _T("c:\myfileA.txt"), CFile::modeCreate |   
37         CFile::modeReadWrite ) &&
38         myFileCharArrow.Open( _T("c:\myfileCharArrow.txt"), CFile::modeCreate |   
39         CFile::modeReadWrite ) &&
40         myFileWOrA.Open( _T("c:\myFileWOrA.txt"), CFile::modeCreate |   
41         CFile::modeReadWrite ))
42     {
43 
44         CString strW=TEXT("a我");//因为本项目设置了Unicode字符集，所以我们知道CString会被替换为CStringW
45         
46         CStringA strA(strW);
47         
48 
49         myFileW.Write( strW, strW.GetLength()*2); 
50         myFileW.Flush();
51 
52         myFileA.Write(strA,strA.GetLength());
53         myFileA.Flush();
54         //CString的GetString返回的const类型指针，要么在右边强转，要么左边用const类型的char*去接
55         //注意指针命名：p是pointer，c是const，如果有t则是TEXT，w是wide,l是long
56         char* pstr=(char*)strA.GetString();
57         /*下面这行代码若不注掉，会报错，因为本程序是Unicode程序，
58         strW会是一个CStringW类型的字符串，它的GetString返回的是LPCWSTR类型指针
59         当然不能赋值给LPCSTR类型指针了，一个是const wchar_t*，另一个是const char*
60         */
61         //const char* pcstr1=strW.GetString();
62         
63         myFileCharArrow.Write(pstr,strlen(pstr));
64         myFileCharArrow.Flush();
65 
66         //假设我们在编程中，不知道有没有使用Unicode设置，为了通用，我们可以尽量使用宏及通用版本的相关函数（如_tcslen)
67         CString strWOrA=TEXT("a我");
68         //注意这里的TCHAR不一定就是wchar_t，这取决于程序是否设置了Unicode
69         const TCHAR* pctstr=strWOrA.GetString();//CString的GetString返回的是const指针
70         myFileWOrA.Write(ptstr,_tcslen(pctstr)*sizeof(TCHAR));
71         myFileWOrA.Flush();
72 
73     }
74     
75 
76     return TRUE;  // 除非将焦点设置到控件，否则返回 TRUE
77 }

用UE察看几个文件的内容，如图：

其中，CED2是”我“的GB2312编码，6211（注意字节高低次序）是”我“的Unicode编码，我们可知，CStringA strA(strW)这行代码，一定进行了码表间的转换。结合代码，文件内容应该不难理解。

还有些让人容易头晕的字符串指针宏，下面列举出来：

关于char*的：

LPCSTR: long pointer const string，可看成const char*，与PCSTR相似

LPSTR：可看成char*，与PSTR相似

关于wchar_t*的：

LPCWSTR，PCWSTR，LPWSTR，PWSTR

通用版本（根据是否配置了Unicode有不同的宏替换）：

TCHAR*

LPTSTR,LPCTSTR (T有点类似TEXT宏的意思）