21、什么是虚拟内存?
我们实际的物理内存主要是主存,但是物理主存空间有限,所以一般现代操作系统都会想办法把一部分内存块放到磁盘中,用到的时候再装入主存,但是对用户程序而言,是不需要注意实际的物理内存的,为什么呢?因为有虚拟内存
的机制。
简单说,虚拟内存是操作系统提供的⼀种机制,将不同进程的虚拟地址和不同内存的物理地址映射起来。
每个进程都有自己独立的地址空间,再由操作系统映射到到实际的物理内存。
于是,这⾥就引出了两种地址的概念:
程序所使⽤的内存地址叫做虚拟内存地址(Virtual Memory Address)
实际存在硬件⾥⾯的空间地址叫物理内存地址(Physical Memory Address)。
22、什么是内存分段?
程序是由若⼲个逻辑分段组成的,如可由代码分段、数据分段、栈段、堆段组成。不同的段是有不同的属性的,所以就⽤分段(Segmentation)的形式把这些段分离出来。
分段机制下的虚拟地址由两部分组成,段号和段内偏移量。
虚拟地址和物理地址通过段表映射,段表主要包括段号、段的界限
。
23、什么是内存分页?
分⻚是把整个虚拟和物理内存空间切成⼀段段固定尺⼨的⼤⼩。这样⼀个连续并且尺⼨固定的内存空间,我们叫⻚(Page)。在 Linux 下,每⼀⻚的⼤⼩为 4KB 。
访问分页系统中内存数据需要两次的内存访问 :一次是从内存中访问页表,从中找到指定的物理页号,加上页内偏移得到实际物理地址,第二次就是根据第一次得到的物理地址访问内存取出数据。
24、多级页表知道吗?
操作系统可能会有非常多进程,如果只是使用简单分页,可能导致的后果就是页表变得非常庞大。
所以,引入了多级页表的解决方案。
所谓的多级页表,就是把我们原来的单级页表再次分页,这里利用了局部性原理
,除了顶级页表,其它级别的页表一来可以在需要的时候才被创建,二来内存紧张的时候还可以被置换到磁盘中。
25、什么是块表?
同样利用了局部性原理
,即在⼀段时间内,整个程序的执⾏仅限于程序中的某⼀部分。相应地,执⾏所访问的存储空间也局限于某个内存区域。
利⽤这⼀特性,把最常访问的⼏个⻚表项存储到访问速度更快的硬件,于是计算机科学家们,就在 CPU 芯⽚中,加⼊了⼀个专⻔存放程序最常访问的⻚表项的 Cache,这个 Cache 就是 TLB(Translation Lookaside Buffer) ,通常称为⻚表缓存、转址旁路缓存、快表等。
26、分页和分段有什么区别?
- 段是信息的逻辑单位,它是根据用户的需要划分的,因此段对用户是可见的 ;页是信息的物理单位,是为了管理主存的方便而划分的,对用户是透明的。
- 段的大小不固定,有它所完成的功能决定;页的大小固定,由系统决定
- 段向用户提供二维地址空间;页向用户提供的是一维地址空间
- 段是信息的逻辑单位,便于存储保护和信息的共享,页的保护和共享受到限制。
27、什么是交换空间?
操作系统把物理内存(Physical RAM)分成一块一块的小内存,每一块内存被称为页(page)。当内存资源不足时,Linux把某些页的内容转移至磁盘上的一块空间上,以释放内存空间。磁盘上的那块空间叫做交换空间(swap space),而这一过程被称为交换(swapping)。物理内存和交换空间的总容量就是虚拟内存的可用容量。
用途:
- 物理内存不足时一些不常用的页可以被交换出去,腾给系统。
- 程序启动时很多内存页被用来初始化,之后便不再需要,可以交换出去。
28、页面置换算法有哪些?
在分页系统里,一个虚拟的页面可能在主存里,也可能在磁盘中,如果CPU发现虚拟地址对应的物理页不在主存里,就会产生一个缺页中断,然后从磁盘中把该页调入主存中。
如果内存里没有空间,就需要从主存里选择一个页面来置换。
常见的页面置换算法:最佳⻚⾯置换算法(OPT)、先进先出置换算法(FIFO)、最近最久未使⽤的置换算法(LRU)、时钟页面置换算法、最不常⽤置换算法。
(1)最佳⻚⾯置换算法(OPT)
最佳⻚⾯置换算法是一个理想的算法,基本思路是,置换在未来最⻓时间不访问的⻚⾯。
所以,该算法实现需要计算内存中每个逻辑⻚⾯的下⼀次访问时间,然后⽐较,选择未来最⻓时间不访问的⻚⾯。
但这个算法是无法实现的,因为当缺页中断发生时,操作系统无法知道各个页面下一次将在什么时候被访问。
(2)先进先出置换算法(FIFO)
既然我们⽆法预知⻚⾯在下⼀次访问前所需的等待时间,那可以选择在内存驻留时间很⻓的⻚⾯进⾏中置换,这个就是「先进先出置换」算法的思想。
FIFO的实现机制是使用链表将所有在内存的页面按照进入时间的早晚链接起来,然后每次置换链表头上的页面就行了,新加进来的页面则挂在链表的末端。
(3)最近最久未使⽤的置换算法(LRU)
最近最久未使⽤(LRU)的置换算法的基本思路是,发⽣缺⻚时,选择最⻓时间没有被访问的⻚⾯进⾏置换,也就是说,该算法假设已经很久没有使⽤的⻚⾯很有可能在未来较⻓的⼀段时间内仍然不会被使⽤。
这种算法近似最优置换算法,最优置换算法是通过「未来」的使⽤情况来推测要淘汰的⻚⾯,⽽ LRU 则是通过历史
的使⽤情况来推测要淘汰的⻚⾯。
LRU 在理论上是可以实现的,但代价很⾼。为了完全实现 LRU,需要在内存中维护⼀个所有⻚⾯的链表,最近最多使⽤的⻚⾯在表头,最近最少使⽤的⻚⾯在表尾。
困难的是,在每次访问内存时都必须要更新整个链表。在链表中找到⼀个⻚⾯,删除它,然后把它移动到表头是⼀个⾮常费时的操作。
所以,LRU 虽然看上去不错,但是由于开销⽐较⼤,实际应⽤中⽐较少使⽤。
(4)时钟页面置换算法
这个算法的思路是,把所有的⻚⾯都保存在⼀个类似钟⾯的环形链表中,⼀个表针指向最⽼的⻚⾯。
当发⽣缺⻚中断时,算法⾸先检查表针指向的⻚⾯:
如果它的访问位位是 0 就淘汰该⻚⾯,并把新的⻚⾯插⼊这个位置,然后把表针前移⼀个位置;
如果访问位是 1 就清除访问位,并把表针前移⼀个位置,重复这个过程直到找到了⼀个访问位为 0 的⻚⾯为⽌;
(5)最不常⽤置换算法
最不常用算法(LFU),当发⽣缺⻚中断时,选择访问次数最少的那个⻚⾯,将其置换。
它的实现⽅式是,对每个⻚⾯设置⼀个「访问计数器」,每当⼀个⻚⾯被访问时,该⻚⾯的访问计数器就累加 1。在发⽣缺⻚中断时,淘汰计数器值最⼩的那个⻚⾯。
29、硬链接和软链接有什么区别?
硬链接就是在目录下创建一个条目,记录着文件名与 inode 编号,这个 inode 就是源文件的 inode。删除任意一个条目,文件还是存在,只要引用数量不为 0。但是硬链接有限制,它不能跨越文件系统,也不能对目录进行链接。
软链接相当于重新创建⼀个⽂件,这个⽂件有独⽴的 inode,但是这个⽂件的内容是另外⼀个⽂件的路径,所以访问软链接的时候,实际上相当于访问到了另外⼀个⽂件,所以软链接是可以跨⽂件系统的,甚⾄⽬标⽂件被删除了,链接⽂件还是在的,只不过打不开指向的文件了而已。
30、零拷贝了解吗?
假如需要文件传输,使用传统I/O,数据读取和写入是用户空间到内核空间来回赋值,而内核空间的数据是通过操作系统的I/O接口从磁盘读取或者写入,这期间发生了多次用户态和内核态的上下文切换,以及多次数据拷贝。
为了提升I/O性能,就需要减少用户态与内核态的上下文切换和内存拷贝的次数。
这就用到了我们零拷贝的技术,零拷贝技术实现主要有两种:
- mmap + write
mmap() 系统调⽤函数会直接把内核缓冲区⾥的数据「映射」到⽤户空间,这样,操作系统内核与⽤户空间就不需要再进⾏任何的数据拷⻉操作。
- sendfile
在 Linux 内核版本 2.1 中,提供了⼀个专⻔发送⽂件的系统调⽤函数 sendfile() 。
⾸先,它可以替代前⾯的 read() 和 write() 这两个系统调⽤,这样就可以减少⼀次系统调⽤,也就减少了 2 次上下⽂切换的开销。
其次,该系统调⽤,可以直接把内核缓冲区⾥的数据拷⻉到 socket 缓冲区⾥,不再拷⻉到⽤户态,这样就只有 2 次上下⽂切换,和 3 次数据拷⻉。
很多开源项目如Kafka、RocketMQ都采用了零拷贝技术来提升IO效率。