基于mykernel 2.0编写一个操作系统内核

基于mykernel 2.0编写一个操作系统内核

---

一、实验要求

基于mykernel 2.0编写一个操作系统内核

• 配置mykernel 2.0，熟悉Linux内核的编译；
• 基于mykernel 2.0，编写一个操作系统内核；
• 简要分析操作系统内核核心功能及运行工作机制；

具体实现参考孟宁老师github:
https://github.com/mengning/mykernel
https://mp.weixin.qq.com/s/SzpN1BNty5aPDZhNdCO5yA

二、搭建虚拟的x86-64 CPU实验平台mykernel

1、运行环境

• macOS
• 虚拟机: Parallels Desktop
• 虚拟机环境: Ubuntu 1804

2、运行步骤

#拉取mykernel 2.0
wget https://raw.github.com/mengning/mykernel/master/mykernel-2.0_for_linux-5.4.34.patch

#安装axel(linux下的多线程下载工具)
sudo apt install axel
#通过axel下载linux内核
axel -n 20 https://mirrors.edge.kernel.org/pub/linux/kernel/v5.x/linux-5.4.34.tar.xz
#解压
xz -d linux-5.4.34.tar.xz
tar -xvf linux-5.4.34.tar

#进入linux-5.4.34目录，并借用孟宁老师写好的补丁文件对内核进行打补丁
cd linux-5.4.34
patch -p1 < ../mykernel-2.0_for_linux-5.4.34.patch

#安装运行时相关依赖
sudo apt install build-essential libncurses-dev bison flex libssl-dev libelf-dev

#编译内核
make defconfig # Default configuration is based on 'x86_64_defconfig'
make -j$(nproc) # 编译的时间比较久哦

#安装并运行qemu，一个模拟处理器
sudo apt install qemu # install QEMU
qemu-system-x86_64 -kernel arch/x86/boot/bzImage

• 注:在wget时出现错误，连接失败。经排查是由于dns污染，可通过设置host来指定。由于文件较小，在此我直接从github将该文件手动复制下来即可。

3、运行结果

搭建起来后的内核启动效果如图所示。从QEMU窗口中可以看到my_start_kernel在执行，同时my_timer_handler时钟中断处理程序周期性执行。

其具体实现位于mykernel文件夹中的mymain.c和myinterrupt.c文件中。在当前环境下，虚拟环境模拟了一个cpu在持续执行C代码文件mymain.c中的程序，使其每次计数达到100000输出一次my_start_kernel here。同时有一个中断处理程序的上下文环境，在周期性地产生的时钟中断信号，从而触发myinterrupt.c中的程序执行输出my_timer_handler here。这样就完成了通过Linux内核代码模拟了一个具有时钟中断和C代码执行环境的硬件平台。

• my_start_kernel:
  

• my_timer_handler
  

三、实现可运行的操作系统内核

在上一步中，我们搭建好了一个虚拟的x86-64 CPU实验平台，他能模拟一个具有时钟中断和执行C代码的环境。接下来只要在mymain.c的基础上继续写进程描述PCB和进程链表管理等代码，并在myinterrupt.c的基础上完成进程切换代码，就完成了一个可运行的小OS kernel。

• 定义进程控制块(也就是进程结构体的定义，在Linux内核中是struct tast_struct结构体)。

代码分析参考注释

/*
 *  linux/mykernel/mypcb.h
 *
 *  Kernel internal PCB types
 *
 *  Copyright (C) 2013  Mengning
 *
 */
#define MAX_TASK_NUM        4           //最大进程数目
#define KERNEL_STACK_SIZE   1024*8      //进程堆栈空间大小


/* CPU-specific state of this task */
//定义进程结构体，其中ip为函数指针，sp为栈顶指针
struct Thread {
    unsigned long       ip;
    unsigned long       sp;
};

// 定义进程控制块结构体
typedef struct PCB{
    int pid;                            // 进程id
    volatile long state;                // 进程当前状态，-1为阻塞态，0为可运行态，>0为暂停态
    char stack[KERNEL_STACK_SIZE];      // 进程堆栈
    /* CPU-specific state of this task */
    struct Thread thread;               // 保存进程指令指针和栈顶指针的变量
    unsigned long   task_entry;         // 程序入口地址
    struct PCB *next;                   // 指向下一进程控制块的指针
}tPCB;


void my_schedule(void);

• 改写mymain.c，mykernel内核代码的入口实现，负责初始化内核的各个组成部分：

/*
 *  linux/mykernel/mymain.c
 *
 *  Kernel internal my_start_kernel
 *  Change IA32 to x86-64 arch, 2020/4/26
 *
 *  Copyright (C) 2013, 2020  Mengning
 *  
 */


#include <linux/types.h>
#include <linux/string.h>
#include <linux/ctype.h>
#include <linux/tty.h>
#include <linux/vmalloc.h>

#include "mypcb.h"

tPCB task[MAX_TASK_NUM];
tPCB * my_current_task = NULL;
volatile int my_need_sched = 0;

void my_process(void);

void __init my_start_kernel(void)
{
    int pid = 0;
    int i;
    /* Initialize process 0*/
    task[pid].pid = pid;
    task[pid].state = 0;/* -1 unrunnable, 0 runnable, >0 stopped */
    task[pid].task_entry = task[pid].thread.ip = (unsigned long)my_process;
    task[pid].thread.sp = (unsigned long)&task[pid].stack[KERNEL_STACK_SIZE-1];
    task[pid].next = &task[pid];
    /*fork more process */
    for(i=1;i<MAX_TASK_NUM;i++)
    {
            memcpy(&task[i],&task[0],sizeof(tPCB));
            task[i].pid = i;
        task[i].thread.sp = (unsigned long)(&task[i].stack[KERNEL_STACK_SIZE-1]);
            task[i].next = task[i-1].next;
            task[i-1].next = &task[i];
    }
    /* start process 0 by task[0] */
    pid = 0;
    my_current_task = &task[pid];
    asm volatile(
        "movq %1,%%rsp
	" 	/* 将进程原堆栈栈顶的地址存入RSP寄存器 */
        "pushq %1
	" 	        /* 将当前RBP寄存器值压栈 */
        "pushq %0
	" 	        /* 将当前进程的RIP压栈 */
        "ret
	" 	            /* ret命令正好可以让压栈的进程RIP保存到RIP寄存器中 */
        : 
        : "c" (task[pid].thread.ip),"d" (task[pid].thread.sp)	/* input c or d mean %ecx/%edx*/
    );
} 

int i = 0;

void my_process(void)
{    
    while(1)
    {
        i++;
        if(i%10000000 == 0)
        {
            printk(KERN_NOTICE "this is process %d -
",my_current_task->pid);
            if(my_need_sched == 1)
            {
                my_need_sched = 0;
  	      my_schedule();
  	  }
  	printk(KERN_NOTICE "this is process %d +
",my_current_task->pid);
        }     
    }
}

1、首先初始化进程控制块及声明myprocess函数。
2、接着在__init my_start_kernel函数中，先将pid为0的进程状态置为运行态并将进程的pid设置为对应的序号，同时设置其函数的入口为my_process函数。进程的栈顶指针为该进程的堆栈栈底，进程执行下一进程的指针初始化为指向自身。
3、接下来fork更多的进程，并将它们以链表的形式链接起来，各进程之间的 pid 和栈顶指针以及指向下一进程的指针都不相同。
4、在__init my_start_kernel的最后，通过汇编代码启动0号进程，将函数指针ip存入ecx寄存器、栈顶指针sp存入edx寄存器、进程的栈顶指针存入esp寄存器，将栈顶地址sp、进程指令指针ip入栈，最后将ip指令指针出栈保存至esp寄存器，跳转至进程入口函数并开始运行0号进程。
5、在my_process函数中执行一个死循环，不断输出当前pid。当i%10000000 == 0时，判断my_need_sched 是否为 1来进行调度，从而调用my_schedule()进行调度。

• 改写myinterrupt.c，实现进程切换和时间片计数：

/*
 *  linux/mykernel/myinterrupt.c
 *
 *  Kernel internal my_timer_handler
 *  Change IA32 to x86-64 arch, 2020/4/26
 *
 *  Copyright (C) 2013, 2020  Mengning
 *
 */
#include <linux/types.h>
#include <linux/string.h>
#include <linux/ctype.h>
#include <linux/tty.h>
#include <linux/vmalloc.h>

#include "mypcb.h"

extern tPCB task[MAX_TASK_NUM];
extern tPCB * my_current_task;
extern volatile int my_need_sched;
volatile int time_count = 0;

/*
 * Called by timer interrupt.
 * it runs in the name of current running process,
 * so it use kernel stack of current running process
 */
void my_timer_handler(void)
{
    if(time_count%1000 == 0 && my_need_sched != 1)
    {
        printk(KERN_NOTICE ">>>my_timer_handler here<<<
");
        my_need_sched = 1;
    } 
    time_count ++ ;  
    return;  	
}

void my_schedule(void)
{
    tPCB * next;
    tPCB * prev;

    if(my_current_task == NULL 
        || my_current_task->next == NULL)
    {
    	return;
    }
    printk(KERN_NOTICE ">>>my_schedule<<<
");
    /* schedule */
    next = my_current_task->next;
    prev = my_current_task;
    if(next->state == 0)/* -1 unrunnable, 0 runnable, >0 stopped */
    {        
    	my_current_task = next; 
    	printk(KERN_NOTICE ">>>switch %d to %d<<<
",prev->pid,next->pid);  
    	/* switch to next process */
    	asm volatile(	
        	"pushq %%rbp
	" 	    /* save rbp of prev */
        	"movq %%rsp,%0
	" 	/* save rsp of prev */
        	"movq %2,%%rsp
	"     /* restore  rsp of next */
        	"movq $1f,%1
	"       /* save rip of prev */	
        	"pushq %3
	" 
        	"ret
	" 	            /* restore  rip of next */
        	"1:	"                  /* next process start here */
        	"popq %%rbp
	"
        	: "=m" (prev->thread.sp),"=m" (prev->thread.ip)
        	: "m" (next->thread.sp),"m" (next->thread.ip)
    	); 
    }  
    return;	
}

1、在my_timer_handler中，主要用来对时间片进行计时，cpu会周期产生时钟中断信号，触发该函数的执行，当函数执行1000次时会将my_need_sched置为1。在mymain.c中的my_process函数就可以触发调度，通过调用my_schedule()进行调度。
2、在my_schedule()函数中实现函数进程切换，通过汇编代码来选择调用下一进程：

pushq %%rbp : 保存prev进程（本例中指进程0）当前RBP寄存器的值到prev进程的堆栈；
movq %%rsp,%0 : 保存prev进程（本例中指进程0）当前RSP寄存器的值到prev->thread.sp，这时RSP寄存器指向进程的栈顶地址，实际上就是将prev进程的栈顶地址保存；%0、%1...指这段汇编代码下面输入输出部分的编号；
movq %2,%%rsp : 将next进程的栈顶地址next->thread.sp放入RSP寄存器，完成了进程0和进程1的堆栈切换；
movq $1f,%1 : 保存prev进程当前RIP寄存器值到prev->thread.ip，这里$1f是指标号1；
pushq %3 : 把即将执行的next进程的指令地址next->thread.ip入栈，这时的next->thread.ip可能是进程1的起点my_process(void)函数，也可能是$1f（标号1）。第一次被执行从头开始为进程1的起点my_process(void)函数，其余的情况均为$1f（标号1），因为next进程如果之前运行过那么它就一定曾经也作为prev进程被进程切换过
ret : 就是将压入栈中的next->thread.ip放入RIP寄存器，为什么不直接放入RIP寄存器呢？因为程序不能直接使用RIP寄存器，只能通过call、ret等指令间接改变RIP寄存器。
1 : 下一进程将从这里开始,标号1是一个特殊的地址位置，该位置的地址是$1f;
popq %%rbp : 将next进程堆栈基地址从堆栈中恢复到RBP寄存器中。

到这里开始执行进程1了，如果进程1执行的过程中发生了进程调度和进程切换，进程0重新被调度执行了，就是从进程1再切换到进程0，prev进程变成了进程1，而next进程变成进程0。

• 重新make进行编译，并通过qemu-system-x86_64 -kernel arch/x86/boot/bzImage命令观察进程的调度过程如下：
  

四、实验总结

通过这次基于mykernel 2.0来编写操作系统内核。先是学习内核编译过程，再接着了解了进程切换调度过程。尤其是在进程调度时，需要保存上下文。其中涉及了多个寄存器，需要先保存好当前运行环境和变量。在中断完成后，需要退栈恢复运行环境和变量。