内核与操作系统
由于一些商业操作系统设计上的缺陷以及日益庞杂,“操作系统”的概念对很多人而言变得含糊不清。在进一步讨论Linux内核的话题前,我们先区分“内核”与“操作系统”这两个概念。
- 操作系统:指在整个系统中完成最基本功能和系统管理的部分,包括内核、设备驱动、文件管理工具、系统管理工具、shell命令行或其他用户界面(gnome/KDE等)
- 内核:是操作系统的核心,完成进程管理、cpu调度、内存管理、中断处理等功能
一般我们编写的应用程序,跑在操作系统上,完成文字编辑、音乐播放、网页游览等特定功能。
内核编译
内核源码一般放在/usr/src目录下,我们也可以从获取所需内核版本的源码包。编译内核的第一步是配置内核功能,例如配置是否支持对称多处理器(SMP),可通过设置CONFIG_SMP的值。
通常我们使用"make menuconfig"命令进行配置,其提供了友好的配置界面:
保存配置后,源码目录下将生成.config配置文件,打开该文件,可以看到其内容为各种选项设置:
- CONFIG_X86_64=y
- CONFIG_64BIT=y
- CONFIG_X86=y
- CONFIG_SEMAPHORE_SLEEPERS=y
- CONFIG_MMU=y
- ……
我们也可以使用当前的内核配置,使用以下命令快速地生成.config文件:
- zcat /proc/config.gz > .config
之后根据.config配置,对源码进行编译:
- make -j4
以上使用-j选项,指定并行编译工作任务数目,在多核环境下,减少了编译时间。
编译完成后生成内核压缩镜像:
- make bzImage
生成的内核压缩镜像文件位于 arch/x86/boot目录下:
- linux-2.6.32.59 # ll arch/x86/boot/bzImage
- -rw-r--r-- 1 root root 2814112 07-02 22:27 arch/x86/boot/bzImage
接着安装内核模块:
- make modules_install
新的模块会被放置在/lib/modules目录下:
- /lib/modules # ll
- 总计 8
- drwxr-xr-x 4 root root 4096 03-08 23:53 2.6.32.12-0.7-default
- drwxr-xr-x 3 root root 4096 07-02 23:31 2.6.32.59-0.7-default
最后执行make install安装内核,在/boot目录下将生成System.map、vmlinuz和initrd文件:
- linux-2.6.32.59 # make install
- sh /home/lx/kernel/linux-2.6.32.59/arch/x86/boot/install.sh 2.6.32.59-0.7-default arch/x86/boot/bzImage \
- System.map "/boot"
- Kernel image: /boot/vmlinuz-2.6.32.59-0.7-default
- Initrd image: /boot/initrd-2.6.32.59-0.7-default
- ……
完成安装后,在/boot/grub/menu.lst文件中增加了新内核相应的启动项,我们可以修改该文件,指定系统启动后使用新编译的内核。
进程与线程
Linux下,进程与线程的最大不同是进程拥有独立的内存地址空间,而线程与其他线程共享内存地址空间。除此之外,进程与线程的实现基本相同,都有task_struct结构,都被分配PID。
内核线程没有独立的地址空间,它们完成特定工作并接受内核的调度,不同于一般用户进程,它们不接收kill命令发送的信号:
- F S UID PID PPID C PRI NI ADDR SZ WCHAN STIME TTY TIME CMD
- 1 S root 2 1 0 -40 - - 0 migrat Jul01 ? 00:00:00 [migration/0]
- 1 S root 3 1 0 94 19 - 0 ksofti Jul01 ? 00:00:00 [ksoftirqd/0]
- 5 S root 18 1 0 70 -5 - 0 worker Jul01 ? 00:00:00 [events/0]
- ……
task_struct
task_struct结构包含进程使用的虚拟内存、打开的文件、进程状态、进程pid等信息,占用的内存由slab分配,在文件中定义。thread_info结构的第一个字段为task_struct类型的指针,当进程创建时,thread_info存放在进程内核栈的顶部:
current全局变量指向当前运行进程的task_struct结构,由于thread_info存放的位置固定,这样我们通过以下汇编指令就能很容易地计算出current的值:
- movl $-8192, %eax
- andl $esp, %eax
进程状态
进程可处于以下几种状态:
- RUNNING
- INTERRUPTABLE
- UNINTERRUPTABLE
- STOP
- ZOMBIE
这些进程状态作为宏,在sched.h文件中被定义。
- RUNNING状态表示进程是可执行的,或正在执行或在运行队列中,这些进程占用或等待cpu资源。
- 进程调用退出函数exit后,进程中止,进入ZOMBIE状态。在ZOMBIE状态下进程不会占用cpu,但因其task_struct结构尚未释放,仍占用一点内存,直到父进程调用wait函数接受子进程遗愿,假如父进程先于子进程退出,则由init进程接受子进程遗愿。如果一个进程长期处于ZOMBIE状态,则是父进程中未调用wait,为程序编码问题。
- UNINTERRUPTABLE状态表示进程不可中断,处于此状态的进程处于内核态,并且不接收任何信号。
设置进程状态的函数为set_task_state函数,在文件中定义。
进程间关系
进程间关系与目录结构一样,为树状结构,目录结构以/为根,而进程关系以init为根。我们可以使用pstree查看进程间关系:
- linux-14:~ # echo $$
- 10939
- linux-14:~ # pstree -G -p 10939
- bash(10939)─┬─pstree(12806)
- └─sh(12796)───sleep(12801)
内核代码中提供了一条双向闭环链表,自init进程始,链表连接了所有进程的task_struct结构,可以通过for_each_process宏遍历系统的所有进程:
- #define for_each_process(p) \
- for (p = &init_task ; (p = next_task(p)) != &init_task ; )
进程创建
Linux kernel将进程创建的步骤分成两步:fork和exec。fork生成子进程的pid,将父进程执行上下文、打开的文件描述符等内容复制一份给子进程;exec将子进程自己的执行上下文加载进内存地址空间。有以下fork例子,问执行该程序将输出多少个1?
- #include <stdio.h>
- #include <unistd.h>
- int main()
- {
- int i;
- for(i=0 ; i < 10; i++)
- {
- fork();
- }
- printf("%d\n", 1);
- return 0;
- }
fork拷贝父进程的内容到子进程,开销较大,假若调用fork之后马上调用exec,子进程加载自己的执行文件,则拷贝的动作就是多余的。写时拷贝(copy-on-write,COW)解决了拷贝带来无谓开销的问题,在子进程写父进程地址空间时,才触发拷贝的动作。不做多余事情、非到不得已的时候才完成工作,这也是Linux kernel高效的原因之一。
内核中do_fork函数完成fork调用的工作,do_fork调用copy_process。copy_process函数中主要完成以下工作:
- 调用dup_task_struct函数申请新进程的task_struct、thread_info结构
- 根据clone_flags标志,调用copy_files、copy_fs、copy_mm等函数完成文件、文件系统、内存等信息的拷贝
- 调用alloc_pid申请新进程pid
fork返回两次,在do_fork函数中实现。
进程中止
最终进程会调用exit函数中止,exit系统调用最终会调用内核中do_exit函数,do_exit在中定义,其完成以下工作:
- 调用exit_signals设置进程flags标志为PF_EXITING
- 调用exit_mm、exit_files、exit_fs等函数释放进程内存、文件、文件系统等结构
- 设置进程的exit_code
- 调用exit_notify,向当前进程的父进程、子进程发送信号,告知当前进程将要中止,并设置当前进程退出状态exit_state为EXIT_DEAD或EXIT_ZOMBIE
- 调用schedule,切换到另一个进程,从do_exit函数不会返回到调用它的函数
Reference: Chapter 1 to chapter 3, Linux kernel development.3rd.Edition