• 一个printf(结构体指针)引发的血案



    这是道哥的第015篇原创

    关注+星标公众号,不错过最新文章



    一、前言

    1. 为什么写这篇文章

    在上周六,我在公众号里发了一篇文章:C语言指针-从底层原理到花式技巧,用图文和代码帮你讲解透彻,以直白的语言、一目了然的图片来解释指针的底层逻辑,有一位小伙伴对文中的代码进行测试,发现一个比较奇怪的问题。我把发来的测试代码进行验证,思考好久也无法解释为什么会出现那么奇怪的打印结果。

    为了整理思路,我到阳台抽根烟。晚上的风很大,一根烟我抽了一半,风抽了一半,可能风也有自己的烦恼。后来一想,烟是我买的,为什么让风来抽?于是我就开始抽风!不对,开始回房间继续抽代码,我就不信,这么简单的 printf 语句,怎么就搞不定?!

    于是就有了这篇文章。

    2. 你能得到什么收获

    1. 函数参数的传递机制;
    2. 可变参数的实现原理(va_list);
    3. printf 函数的实现机制;
    4. 面对问题时的分析思路。

    友情提醒:文章的前面大部分内容都是在记录思考问题、解决问题的思路,如果你对这个过程不感兴趣,可以直接跳到最后面的第四部分,用图片清晰的解释了可变参数的实现原理,看过一次之后,保管你能深刻记住。

    3. 我的测试环境

    3.1 操作系统

    每个人的电脑环境都是不一样的,包括操作系统、编译器、编译器的版本,也许任何一个小差别都会导致一些奇奇怪怪的的现象。不过大部分人都是使用 Windows 系统下的 VS 集成开发环境,或者 Linux 下的 gcc 命令行窗口来测试。

    我一般都是使用 Ubuntu16.04-64 系统来测试代码,本文中的所有代码都是在这个平台上测试的。如果你用 VS 开发环境中的 VC 编译器,可能在某些细节上与我的测试结果又出入,但是问题也不大,遇到问题再分析,毕竟解决问题也是提升自己能力的最快途径

    3.2 编译器

    我使用的编译器是 Ubuntu16.04-64 系统自带的版本,显示如下:

    另外,我安装的是 64 位系统,为了编译 32 位的可执行程序,我在编译指令中添加了 -m 选项,编译指令如下:

    gcc -m32 main.c -o main
    

    使用 file main 命令来查一下编译得到的可执行文件:

    所以,在测试时如果输出结果与预期有一些出入,先检查一下编译器。C 语言本质上都是一些标准,每家的编译器都是标准的实现者,只要结果满足标准即可,至于实现的过程、代码执行的效率就各显神通了。

    二、问题导入

    1. 网友求助代码

    #include <unistd.h>
    #include <stdio.h>
    #include <stdlib.h>
    
    typedef struct 
    {
        int age;
        char name[8];
    } Student;
    
    int main()
    {
        Student s[3] = {{1, "a"}, {2, "b"}, {3, "c"}};
        Student *p = &(s[0]);
        printf("%d, %d \n", *s, *p);
    }
    

    2. 期望结果

    根据上篇文章的讨论,我们知道:

    1. s 是一个包含 3 个元素数组,每个元素的类型是结构体 Student;
    2. p 是一个指针,它指向变量s,也就是说指针 p 中保存的是变量 s 的地址,因为数组名就表示该数组的首地址。

    既然 s 也是一个地址,它也代表了这个数组中第一个元素的首地址。第一个元素类型是结构体,结构体中第一个变量是 int 型,因此 s 所代表的那个位置是一个 int 型数据,对应到示例代码中就是数字 1。因此 printf 语句中希望直接把这个地址处的数据当做一个 int 型数据打印出来,期望的打印结果是:1, 1

    这样的分析过程好像是没有什么问题的。

    3. 实际打印结果

    我们来编译程序,输出警告信息:

    警告信息说:printf 语句需要 int 型数据,但是传递了一个 Student 结构体类型,我们先不用理会这个警告,因为我们就是想通过指针来访问这个地址里的数据

    执行程序,看到实际打印结果是:1, 97,很遗憾,与我们的期望不一致!

    三、分析问题的思路

    1. 打印内存模型

    可以从打印结果看,第一个输出的数字是 1,与预期符合;第二个输出 97,很明显是字符 'a' 的 ASCII 码值,但是 p 怎么会指到 name 变量的地址里呢

    首先确认 3 个事情:

    1. 结构体 Student 占据的内存大小是多少?
    2. 数组 s 里的内存么模型是怎样的?
    3. s 与 指针变量 p 的值是否正确?

    把代码改为如下:

    Student s[3] = {{1, "a"}, {2, "b"}, {3, "c"}};
    Student *p = s;
    
    printf("sizeof Student = %d \n\n", sizeof(Student));
    
    printf("print each byte in s: ");
    char *pTmp = p;
    for (int i = 0; i < 3 * sizeof(Student); i++)
    {
       if (0 == i % sizeof(Student))
            printf("\n");
       printf("%x ", *(pTmp + i));
    }
    printf("\n\n");
    
    printf("print value of s and p \n\n");
    printf("s = 0x%x, p = 0x%x \n\n", s, p);
    
    printf("%d, %d \n", *s, *p);
    

    我们先画一下数组 s 预期的内存模型,如下:

    编译、测试,打印结果如下:

    从打印结果看:

    1. 结构体 Student 占据 12 个字节,符合预期。
    2. 数组 s 的内存模型也是符合预期的,一共占据 36 个字节。
    3. s 与 p 都代表一个地址,打印结果它俩相同,也是符合预期的。

    那就见鬼了:既然 s 与 p 代表同一个内存地址,但是为什么用 *p 读取 int 型数据时,得到的却是字符 'a' 的值呢?

    2. 分开打印信息

    既然第一个 *s 打印结果是正确的,那么就把这个两个数据分开来打印,测试代码如下:

    Student s[3] = {{1, "a"}, {2, "b"}, {3, "c"}};
    Student *p = s;
    
    printf("%d \n", *s);
    printf("%d \n", *p);
    

    编译、测试,打印结果如下:

    打印结果符合预期!也就是说分成两条打印语句是可以正确读取到目标地址里的 int 型数据的,但是在一条语句里就不行!

    其实此时,可以判断出大概是 printf 语句的原因了。从现象上看,似乎是 printf 语句在执行过程中打印第一个数字之后,影响到了指针 p 的值,但是具体是怎么影响的说不清楚,而且它是系统里的库函数,肯定不能改变 p 的值。

    于是在 google 中搜索关键字:"glibc printf bug",你还别说,真的搜索到很多相关资料,但是浏览了一下,没有与我们的测试代码类似的情况,还得继续思考

    3. 一步步分析问题本质原因

    3.1 打印一个最简单的字符串

    既然是因为在 printf 语句中打印 2 个数据才出现问题,那么我就把问题简化,用一个最简单的字符串来测试,代码如下:

    char aa[] = "abcd";
    char *pc = aa;
    printf("%d, %d \n", *pc, *pc);
    

    编译、执行,打印结果为:"97, 97",非常正确!这就说明 printf 语句在执行时没有改变指针变量的指向地址

    3.2 打印一个结构体变量

    既然在字符串上测试没有问题,那么问题就出在结构体类型上了。那就继续用结构体变量来测试,因为上面的测试代码是结构体变量的数组,现在我们把数组的影响去掉,只对单独的一个结构体变量进行测试:

    Student s = {1, "a"};
      
    printf("%d \n", s); 
    printf("%d, %d \n", s, s); 
    

    注意:这里的 s 是一个变量,不是数组了,所以打印时就不需要用 * 操作符了。编译、执行,输出结果:

    输出结果与之前的错误一样,至此可以得出结论:问题的原因至少与数组是没有关系的!

    现在测试的结构体中有 2 个变量:age 和 name,我们继续简化,只保留 int 型数据,这样更容易简化问题

    3.3 测试更简单的结构体变量

    测试代码如下:

    typedef struct _A
    {
       int a;
       int b;
       int c;
    }A;
    
    int main()
    {
        A a = {10, 20, 30};
        printf("%d %d %d \n", a, a, a);
    }
    

    编译、执行,打印结果为:10 20 30,把 3 个成员变量的值都打印出来了,太诡异了!好像是在内存中,从第一个成员变量开始,自动递增然后获取 int 型数据。

    于是我就把后面的两个参数 a 去掉,测试如下代码:

    A a = {10, 20, 30};
    printf("%d %d %d \n", a);
    

    编译、执行,打印结果仍然为:10 20 30!这个时候我快疯掉了,主要是时间太晚了,我不太喜欢熬夜。

    于是大脑开始偷懒,再次向 google 寻求帮助,还真的找到这个网页:https://stackoverflow.com/questions/26525394/use-printfs-to-print-a-struct-the-structs-first-variable-type-is-char。感兴趣的小伙伴可以打开浏览一下,其中有下面这两段话说明了重点:

    一句话总结:用 printf 语句来打印结构体类型的变量,结果是 undefined behavior!什么是未定义行为,就是说发生任何状况都是可能的,这个就要看编译器的实现方式了。

    看来,我已经找到问题的原因了:原来是因为我的知识不够扎实,不知道打印结构体变量是未定义行为。

    补充一点心得:

    1. 我们在写程序的时候,因为脑袋中掌握的大部分知识都是正确的,因此编写的代码大部分也都是与预期符合的,不可能故意去写一些稀奇古怪的代码。就比如打印结构体信息,一般正常的思路都是把结构体里面的成员变量,按照对应的数据类型来打印输出。
    2. 但是偶尔也会犯低级错误,就像这次遇到的问题一样:直接打印一个结构体变量。因为发生错误了,所以才了解到原来直接打印结构体变量,是一个未定义行为。当然了,这也是一个获取知识的途径。

    追查到这里,似乎可以结束了。但是我还是有点不死心,既然是未定义的行为,那么为什么每次打印输出的结果都错的这么一致呢?既然是由编译器的实现决定的,那么我使用的这个 gcc 版本内部是怎么来打印结构体变量的呢?

    于是我继续往下查...

    3.4 继续打印结构体变量

    刚才的结构体 A 中的成员都是 int 型,每个 int 数据在内存中占据 4 个字节,所以刚才打印出的数据恰好是跨过 4 个字节。如果改成字符串型,打印时是否也会跨过4个字节,于是把测试代码改成下面这样:

    typedef struct _B
    {
       int a;
       char b[12];
    }B;
    
    int main()
    {
        B  b = {10, "abcdefgh"};
        printf("%d %c %c \n", b);
    }
    

    编译、执行,打印结果如下:

    果然如此:字符 a 与数字 10 之间跨过 4 个直接,字符 e 与 a 之间也是跨过 4 个字节。那就说明 printf 语句在执行时可能是按照 int 型的数据大小(4个字节)为单位,来跨越内存空间,然后再按照百分号%后面的字符来读取内存地址里的数据。

    那就来验证这个想法是否正确,测试代码如下:

    Student s = {1, "aaa"};
    char *pTmp = &s;
    for (int i = 0;i < sizeof(Student); i++)
    {
       printf("%x ", *(pTmp + i));
    }
    
    printf("\n");
    printf("%d, %x \n", s);
    

    编译、执行,打印结果为:

    输出结果确实如此:数字 1 之后的内存中存放的是 3 个字符 'a',第二个打印数据格式是 %x,所以就按照整型数据来读取,于是得到十六进制的616161。

    至此,我们也知道了 gcc 这个版本中,是如何来操作这个 “undefined behavior” 的。但是事情好像还没有结束,我们都知道:在调用系统中的 printf 语句时,传入的参数个数和类型不是固定的,那么 printf 中是如何来动态侦测参数的个数和类型的呢

    四、C语言中的可变参数

    在 C 语言中实现可变参数需要用到这下面这几个数据类型和函数(其实是宏定义):

    1. va_list
    2. va_start
    3. va_arg
    4. va_end

    处理动态参数的过程是下面这 4 个步骤:

    1. 定义一个变量 va_list arg;
    2. 调用 va_start 来初始化 arg 变量,传入的第二个参数是可变参数(三个点)前面的那个变量;
    3. 使用 va_arg 函数提取可变参数:循环从 arg 中提取每一个变量,最后一个参数用来指定提取的数据类型。比如:如果格式化字符串是 %d,那么就从可变参数中提取一个 int 型的数据,如果格式化字符串是 %c,就从可变参数中提取一个 char 型数据;
    4. 数据处理结束后,使用 va_end 来释放 arg 变量。

    文字表达起来好像有点抽象、复杂,先看一下下面的 3 个示例,然后再回头看一下上面这 4 个步骤,就容易理解了。

    1. 利用可变参数的三个函数示例

    示例1:参数类型是 int,但是参数个数不固定
    #include <unistd.h>
    #include <stdio.h>
    #include <stdlib.h>
    #include <stdarg.h>
    
    void my_printf_int(int num,...)
    {
        int i, val;
        va_list arg;
        va_start(arg, num);
        for(i = 0; i < num; i++)
        {
            val = va_arg(arg, int);
            printf("%d ", val);
        }
        va_end(arg);
        printf("\n");
    }
    
    int main()
    {
        int a = 1, b = 2, c = 3;
        my_printf_int(3, a, b, c);
    }
    

    编译、执行,打印结果如下:

    示例2:参数类型是 float,但是参数个数不固定
    #include <unistd.h>
    #include <stdio.h>
    #include <stdlib.h>
    #include <stdarg.h>
    
    void my_printf_float (int n, ...)
    {
      int i;
      double val;
      va_list vl;
      va_start(vl,n);
      for (i = 0; i < n; i++)
      {
        val = va_arg(vl, double);
        printf ("%.2f ",val);
      }
      va_end(vl);
      printf ("\n");
    }
    
    int main()
    {
        float f1 = 3.14159, f2 = 2.71828, f3 = 1.41421;
        my_printf_float (3, f1, f2, f3);
    }
    

    编译、执行,打印结果如下:

    示例3:参数类型是 char*,但是参数个数不固定
    #include <unistd.h>
    #include <stdio.h>
    #include <stdlib.h>
    #include <stdarg.h>
    
    void my_printf_string(char *first, ...)
    {
        char *str = first;
        va_list arg;
        va_start(arg, first);
        do 
        {
            printf("%s ", str);
            str = va_arg(arg, char*);
        } while (str != NULL );
        va_end(arg);
        printf("\n");
    }
    
    int main()
    {
        char *a = "aaa", *b = "bbb", *c = "ccc";
        my_printf_string(a, b, c, NULL);
    }
    

    编译、执行,打印结果如下:

    注意:以上这3个示例中,虽然传入的参数个数是不固定的,但是参数的类型都必须是一样的!

    另外,处理函数中必须能够知道传入的参数有多少个,处理 int 和 float 的函数是通过第一个参数来判断的,处理 char* 的函数是通过最后一个可变参数NULL来判断的。

    2. 可变参数的原理

    2.1 可变参数的几个宏定义
    typedef char *    va_list;
    
    #define va_start  _crt_va_start
    #define va_arg    _crt_va_arg  
    #define va_end    _crt_va_end  
    
    #define _crt_va_start(ap,v)  ( ap = (va_list)_ADDRESSOF(v) + _INTSIZEOF(v) )  
    #define _crt_va_arg(ap,t)    ( *(t *)((ap += _INTSIZEOF(t)) - _INTSIZEOF(t)) )  
    #define _crt_va_end(ap)      ( ap = (va_list)0 )  
    

    注意:va_list 就是一个 char* 型指针。

    2.2 可变参数的处理过程

    我们以刚才的示例 my_printf_int 函数为例,重新贴一下:

    void my_printf_int(int num, ...) // step1
    {
        int i, val;
        va_list arg;
        va_start(arg, num);         // step2
        for(i = 0; i < num; i++)
        {
            val = va_arg(arg, int); // step3
            printf("%d ", val);
        }
        va_end(arg);                // step4
        printf("\n");
    }
    
    int main()
    {
        int a = 1, b = 2, c = 3;
        my_printf_int(3, a, b, c);
    }
    

    Step1: 函数调用时

    C语言中函数调用时,参数是从右到左、逐个压入到栈中的,因此在进入 my_printf_int 的函数体中时,栈中的布局如下:

    Step2: 执行 va_start

    va_start(arg, num);
    

    把上面这语句,带入下面这宏定义:

    #define _crt_va_start(ap,v)  ( ap = (va_list)_ADDRESSOF(v) + _INTSIZEOF(v) ) 
    

    宏扩展之后得到:

    arg = (char *)num + sizeof(num);
    

    结合下面的图来分析一下:首先通过 _ADDRESSOF 得到 num 的地址 0x01020300,然后强转成 char* 类型,再然后加上 num 占据的字节数(4个字节),得到地址 0x01020304,最后把这个地址赋值给 arg,因此 arg 这个指针就指向了栈中数字 1 的那个地址,也就是第一个参数,如下图所示:

    Step3: 执行 va_arg

    val = va_arg(arg, int); 
    

    把上面这语句,带入下面这宏定义:

    #define _crt_va_arg(ap,t)    ( *(t *)((ap += _INTSIZEOF(t)) - _INTSIZEOF(t)) )  
    

    宏扩展之后得到:

    val = ( *(int *)((arg += _INTSIZEOF(int)) - _INTSIZEOF(int)) )  
    

    结合下面的图来分析一下:先把 arg 自增 int 型数据的大小(4个字节),使得 arg = 0x01020308;然后再把这个地址(0x01020308)减去4个字节,得到的地址(0x01020304)里的这个值,强转成 int 型,赋值给 val,如下图所示:

    简单理解,其实也就是:得到当前 arg 指向的 int 数据,然后把 arg 指向位于高地址处的下一个参数位置

    va_arg 可以反复调用,直到获取栈中所有的函数传入的参数。

    Step4: 执行 va_end

     va_end(arg); 
    

    把上面这语句,带入下面这宏定义:

    #define _crt_va_end(ap)      ( ap = (va_list)0 )  
    

    宏扩展之后得到:

    arg = (char *)0;
    

    这就好理解了,直接把指针 arg 设置为空。因为栈中的所有动态参数被提取后,arg 的值为 0x01020310(最后一个参数的上一个地址),如果不设置为 NULL 的话,下面使用的话就得到未知的结果,为了防止误操作,需要设置为NULL。

    3. printf利用可变参数打印信息

    理解了 C 语言中可变参数的处理机制,再来思考 printf 语句的实现机制就很好理解了。

    3.1 GNU 中的 printf 代码
    __printf (const char *format, ...)
    {
       va_list arg;
       int done;
    
       va_start (arg, format);
       done = vfprintf (stdout, format, arg);
       va_end (arg);
    
       return done;
    }
    

    可见,系统库中的 printf 也是这样来处理动态参数的,vfprintf 函数最终会调用系统函数 sys_write,把数据输出到 stdout 设备上(显示器)。
    vfprintf 函数代码看起来还是有点复杂,不过稍微分析一下就可以得到其中的大概实现思路:

    1. 逐个比对格式化字符串中的每一个字符;
    2. 如果是普通字符就直接输出;
    3. 如果是格式化字符,就根据指定的数据类型,从可变参数中读取数据,输出显示;

    以上只是很粗略的思路,实现细节肯定复杂的多,需要考虑各种细节问题。下面是 2 个简单的示例:

    void my_printf_format_v1(char *fmt, ...)
    {
        va_list arg;
        int d;
        char c, *s;
    
       va_start(arg, fmt);
        while (*fmt) 
        {
            switch (*fmt) {
                case 's': 
                    s = va_arg(arg, char *);
                    printf("%s", s);
        
                    break;
    
                case 'd':  
                    d = va_arg(arg, int);
                    printf("%d", d);
                    break;
    
                case 'c':      
                    c = (char) va_arg(arg, int);
                    printf(" %c", c);
                    break;
                default:
                    if ('%' != *fmt || ('s' != *(fmt + 1) && 'd' != *(fmt + 1) && 'c' != *(fmt + 1)))
                        printf("%c", *fmt);
                    break;
            }
            fmt++;
        }
        va_end(arg);
    }
    
    int main()
    {
        my_printf_format_v1("age = %d, name = %s, num = %d \n", 
            20, "zhangsan", 98);
    }
    

    编译、执行,输出结果:

    完美!但是再测试下面代码(把格式化字符串最后面的 num 改成 score):

    my_printf_format_v1("age = %d, name = %s, score = %d \n", 
            20, "zhangsan", 98);
    

    编译、执行,输出结果:

    因为普通字符串 score 中的字符 s第一个 case 捕获到了,所以发生错误。稍微改进一下:

    void my_printf_format_v2(char *fmt, ...)
    {
        va_list arg;
        int d;
        char c, lastC = '\0', *s;
    
       va_start(arg, fmt);
        while (*fmt) 
        {
            switch (*fmt) {
                case 's': 
                    if ('%' == lastC)
                    {
                        s = va_arg(arg, char *);
                        printf("%s", s);
                    }
                    else
                    {
                       printf("%c", *fmt);
                    }
                    break;
    
                case 'd':  
                    if ('%' == lastC)
                    {
                        d = va_arg(arg, int);
                        printf("%d", d);
                    } 
                    else
                    {
                       printf("%c", *fmt);
                    }
                    break;
    
                case 'c':   
                    if ('%' == lastC)
                    {    
                        c = (char) va_arg(arg, int);
                        printf(" %c", c);
                    }
                    else
                    {
                        printf("%c", *fmt);
                    }
                    
                    break;
                default:
                    if ('%' != *fmt || ('s' != *(fmt + 1) && 'd' != *(fmt + 1) && 'c' != *(fmt + 1)))
                        printf("%c", *fmt);
                    break;
            }
            lastC = *fmt;
            fmt++;
        }
        va_end(arg);
    }
    
    int main()
    {
        my_printf_format_v2("age = %d, name = %s, score = %d \n", 
            20, "zhangsan", 98);
    }
    

    编译、执行,打印结果:

    五、总结

    我们来复盘一下上面的分析过程,开头的第一个代码本意是测试关于指针的,结果到最后一直分析到 C 语言中的可变参数问题。可以看出,分析问题-定位问题-解决问题是一连串的思考过程,把这个过程走一遍之后,理解才会更深刻。

    我还有另外一个感受:如果我没有写公众号,就不会写这篇文章;如果不写这篇文章,就不会研究的这么较真。也许在中间的某个步骤,我就会偷懒对自己说:理解到这个层次就差不多了,不用继续深究了。所以说以文章的形式来把自己的思考过程进行输出,是技术提升是非常有好处的,也强烈建议各位小伙伴尝试一下这么做。

    而且,如果这些思考过程能得到你们的认可,那么我就会更有动力来总结、输出文章。因此,如果这篇总结对你能有一丝丝的帮助,请转发、分享给你的技术朋友,在此表示衷心的感谢!

    另外,文中如果有错误,非常欢迎在留言区一起讨论。或者添加我的个人微信,这样沟通就更及时、有效率。

    祝你好运!


    【原创声明】

    作者:道哥(公众号: IOT物联网小镇)
    知乎:道哥
    B站:道哥分享
    掘金:道哥分享
    CSDN:道哥分享


    我会把十多年嵌入式开发中的项目实战经验进行输出总结!

    如果觉得文章不错,请转发、分享给您的朋友,您的支持是我持续写作的最大动力!

    长按下图二维码关注,每篇文章都有干货。


    转载:欢迎转载,但未经作者同意,必须保留此段声明,必须在文章中给出原文连接。

    推荐阅读

    [1] C语言指针-从底层原理到花式技巧,用图文和代码帮你讲解透彻
    [2] 一步步分析-如何用C实现面向对象编程
    [3] 原来gdb的底层调试原理这么简单
    [4] 生产者和消费者模式中的双缓冲技术
    [5] 关于加密、证书的那些事
    [6] 深入LUA脚本语言,让你彻底明白调试原理

  • 相关阅读:
    二叉树的最大深度
    [CSP-S模拟测试]:飘雪圣域(莫队)
    [CSP-S模拟测试]:玩具(概率DP)
    [CSP-S模拟测试]:梦境(贪心+小根堆)
    [CSP-S模拟测试]:小P的生成树(数学+Kruskal)
    [CSP-S模拟测试]:小P的单调数列(树状数组+DP)
    [CSP-S模拟测试]:小P的2048(模拟)
    [CSP-S模拟测试]:简单的操作(二分图+图的直径)
    [CSP-S模拟测试]:简单的期望(DP)
    [CSP-S模拟测试]:简单的序列(DP)
  • 原文地址:https://www.cnblogs.com/sewain/p/14324687.html
Copyright © 2020-2023  润新知