來源：嵌入式與Linux那些事公眾號

ARM32位系統的內存布局圖

32位操作系統的內存布局很經典，很多書籍都是以32位系統為例子去講解的。32位的系統可訪問的地址空間為4GB，用戶空間為1GB ~ 3GB，內核空間為3GB ~ 4GB。

為什么要劃分為用戶空間和內核空間呢？

一般處理器會把運行模式分為好幾個，比如x86分為rang0 ~ rang3級別。ARMv7架構中，又分為好幾個模式，比如svc模式是給內核用的，usr模式是給用戶態使用的。

當一個進程執行系統調用時，會陷入到內核態中，這個時候運行模式就從usr模式轉換為svc模式，這就是我們常說的內核態。處于內核態的進程是可以訪問內核空間的。所以就根據CPU的運行模式劃分了兩個空間。

我們先看下1GB的內核空間是怎么劃分的，32位的系統中，通常配置的物理內存通常是大于1GB的，所以物理內存會劃分為兩部分，低端內存稱為線性映射區，高端內存稱為高端映射區。那這個分界線是怎么計算的呢，在ARM32中，分界線為760M。低端內存會做一比一映射到3GB ~ 3GB+760M。

這里講的線性映射就是直接把物理內存的地址映射到線性映射區中，假設物理內存的DDR起始地址是0，映射的時候就有一個偏移量，這個偏移量就是0XC0000000，page offset。線性映射的地址我們就可以很方便的完成虛擬地址到物理地址的轉換，只需要加減一個offset就可以。

高端內存的映射就沒有線性映射那么簡單了，使用高端內存時需要完成動態映射。

我們先看下1GB的內核空間剩下都做什么使用了。

vmalloc區域：分配的內存在虛擬地址是連續的，物理頁面可以是離散的。vmalloc大概占用了200M物理內存。

fixmap：Fix map中的fix指的是固定的意思，那么固定什么東西呢？其實就是虛擬地址是固定的，也就是說，有些虛擬地址在編譯（compile-time）的時候就固定下來了，而這些虛擬地址對應的物理地址不是固定的，是在kernel啟動過程中被確定的。

vector：vector區域用于映射CPU vector page，大小一頁4KB，從0xffff0000 - 0xffff1000。

接下來看下3GB用戶空間的劃分方式，一個進程要運行起來，必然要有自己的代碼段和數據段，這部分在加載的時候就會被映射到虛擬地址。

堆空間:從進程的開始到1GB的這部分我們稱為堆空間，這部分主要是給malloc使用的。

mmap空間:1GB到3GB這部分是給mmap空間使用的，mmap可以用來映射文件也可以映射匿名頁面。通常用戶態分配大段內存的時候，Linux通常會使用mmap來完成分配。

從進程的角度看內存布局

readelf 查看程序段

接下來，我們通過一個C語言程序學習下內存布局，這個例子很簡單，用malloc函數分配了內存內存，然后使用memset將該區域清零。

使用gcc編譯為elf后，可以使用readelf 查看該程序包含那些段。

#include
#include
#include

#defineSIZE(100*1024)
voidmain()
{
char*buf=malloc(SIZE);
memset(buf,0x58,SIZE);
while(1)
sleep(10000);
}

gcc-staticmemory_process.c-omemory_process.elf

我們知道，通常Linux中流行的可執行文件的格式就是elf。使用gcc編譯的elf就是我們講的elf文件，目標文件除了包含了編譯后的機器指令代碼，還包含其他鏈接信息，比如符號表，調試信息，字符串等，通常這些信息會根據不同的屬性存放在不同的段（section）中，這里我們只關注常見的段 。

.init：程序初始化的代碼段。

.text：代碼段，程序編譯完后的機器指令。

.data:初始化過的全局的靜態變量，還有一些局部的靜態變量。

.rodata：只讀變量，字符串，常量等。

.bss：未初始化的全局變量以及初始化為零的變量。

readelf 查看程序頭

使用-l參數讀下程序頭（program header），它是用來描述OS是如何被映射到進程的虛擬地址空間的。

之前我們看到的30個段，在這里分成了7個族，并且顯示每個族都包含那些段，這里我們只關注叫load的族，其他族主要是在程序裝載的時候起到輔助作用。

第一個族里面包含init，text段，他的執行權限是只讀，可執行的（RE）。起始地址0x0000000000400000，大小是0x00000000000b5986。

另外一個族主要包含data和bss段，他的執行權限是可讀寫（RW）。起始地址0x00000000006b6120，大小是0x00000000000051b8。

進程映射的過程

地址：本段在虛擬內存中的地址范圍；對應vm_area_struct中的vm_start和vm_end。

權限：本段的權限; r-讀，w-寫，x-執行， p-私有;對應vm_flags。

偏移地址：即本段映射地址在文件中的偏移；對于有名映射指本段映射地址在文件中的偏移,對應vm_pgoff；對于匿名映射為vm_area_struct->vm_start。

主設備號與次設備號：所映射的文件所屬設備的設備號，對應vm_file->f_dentry->d_inode->i_sb->s_dev。匿名映射為0。其中fd為主設備號，00為次設備號。

文件索引節點號：對應vm_file->f_dentry->d_inode->i_ino，與ls –i顯示的內容相符。匿名映射為0。

映射的文件名：對有名映射而言，是映射的文件名，對匿名映射來說，是此段內存在進程中的作用。[stack]表示本段內存作為棧來使用，[heap]作為堆來使用，其他情況則為無。

smaps 可以查看更多的內容

?examplecat/proc/5823/smaps
00400000-004b6000r-xp0000000008:012319863/home/zhongyi/code/example/memory_process.elf
Size:728kB
KernelPageSize:4kB
MMUPageSize:4kB
Rss:640kB
Pss:640kB
Shared_Clean:0kB
Shared_Dirty:0kB
Private_Clean:640kB
Private_Dirty:0kB
Referenced:640kB
Anonymous:0kB
LazyFree:0kB
AnonHugePages:0kB
ShmemPmdMapped:0kB
FilePmdMapped:0kB
Shared_Hugetlb:0kB
Private_Hugetlb:0kB
Swap:0kB
SwapPss:0kB
Locked:0kB
THPeligible:0
VmFlags:rdexmrmwmedwsd
006b6000-006bc000rw-p000b600008:012319863/home/zhongyi/code/example/memory_process.elf
Size:24kB
KernelPageSize:4kB
MMUPageSize:4kB
Rss:24kB
Pss:24kB
Shared_Clean:0kB
Shared_Dirty:0kB
Private_Clean:8kB
Private_Dirty:16kB
Referenced:24kB
Anonymous:16kB
LazyFree:0kB
AnonHugePages:0kB
ShmemPmdMapped:0kB
FilePmdMapped:0kB
Shared_Hugetlb:0kB
Private_Hugetlb:0kB
Swap:0kB
SwapPss:0kB
Locked:0kB
THPeligible:0
VmFlags:rdwrmrmwmedwacsd
006bc000-006bd000rw-p0000000000:000
Size:4kB
KernelPageSize:4kB
MMUPageSize:4kB
Rss:4kB
Pss:4kB
Shared_Clean:0kB
Shared_Dirty:0kB
Private_Clean:0kB
Private_Dirty:4kB
Referenced:4kB
Anonymous:4kB
LazyFree:0kB
AnonHugePages:0kB
ShmemPmdMapped:0kB
FilePmdMapped:0kB
Shared_Hugetlb:0kB
Private_Hugetlb:0kB
Swap:0kB
SwapPss:0kB
Locked:0kB
THPeligible:0
VmFlags:rdwrmrmwmeacsd
010cc000-010ef000rw-p0000000000:000[heap]
Size:140kB
KernelPageSize:4kB
MMUPageSize:4kB
Rss:108kB
Pss:108kB
Shared_Clean:0kB
Shared_Dirty:0kB
Private_Clean:0kB
Private_Dirty:108kB
Referenced:108kB
Anonymous:108kB
LazyFree:0kB
AnonHugePages:0kB
ShmemPmdMapped:0kB
FilePmdMapped:0kB
Shared_Hugetlb:0kB
Private_Hugetlb:0kB
Swap:0kB
SwapPss:0kB
Locked:0kB
THPeligible:0
VmFlags:rdwrmrmwmeacsd
7ffd5e0db000-7ffd5e0fc000rw-p0000000000:000[stack]
Size:132kB
KernelPageSize:4kB
MMUPageSize:4kB
Rss:16kB
Pss:16kB
Shared_Clean:0kB
Shared_Dirty:0kB
Private_Clean:0kB
Private_Dirty:16kB
Referenced:16kB
Anonymous:16kB
LazyFree:0kB
AnonHugePages:0kB
ShmemPmdMapped:0kB
FilePmdMapped:0kB
Shared_Hugetlb:0kB
Private_Hugetlb:0kB
Swap:0kB
SwapPss:0kB
Locked:0kB
THPeligible:0
VmFlags:rdwrmrmwmegdac
7ffd5e100000-7ffd5e103000r--p0000000000:000[vvar]
Size:12kB
KernelPageSize:4kB
MMUPageSize:4kB
Rss:0kB
Pss:0kB
Shared_Clean:0kB
Shared_Dirty:0kB
Private_Clean:0kB
Private_Dirty:0kB
Referenced:0kB
Anonymous:0kB
LazyFree:0kB
AnonHugePages:0kB
ShmemPmdMapped:0kB
FilePmdMapped:0kB
Shared_Hugetlb:0kB
Private_Hugetlb:0kB
Swap:0kB
SwapPss:0kB
Locked:0kB
THPeligible:0
VmFlags:rdmrpfiodeddsd
7ffd5e103000-7ffd5e105000r-xp0000000000:000[vdso]
Size:8kB
KernelPageSize:4kB
MMUPageSize:4kB
Rss:4kB
Pss:0kB
Shared_Clean:4kB
Shared_Dirty:0kB
Private_Clean:0kB
Private_Dirty:0kB
Referenced:4kB
Anonymous:0kB
LazyFree:0kB
AnonHugePages:0kB
ShmemPmdMapped:0kB
FilePmdMapped:0kB
Shared_Hugetlb:0kB
Private_Hugetlb:0kB
Swap:0kB
SwapPss:0kB
Locked:0kB
THPeligible:0
VmFlags:rdexmrmwmedesd
ffffffffff600000-ffffffffff601000--xp0000000000:000[vsyscall]
Size:4kB
KernelPageSize:4kB
MMUPageSize:4kB
Rss:0kB
Pss:0kB
Shared_Clean:0kB
Shared_Dirty:0kB
Private_Clean:0kB
Private_Dirty:0kB
Referenced:0kB
Anonymous:0kB
LazyFree:0kB
AnonHugePages:0kB
ShmemPmdMapped:0kB
FilePmdMapped:0kB
Shared_Hugetlb:0kB
Private_Hugetlb:0kB
Swap:0kB
SwapPss:0kB
Locked:0kB
THPeligible:0
VmFlags:ex

堆里面，匿名頁面分配了108個物理內存，但我們的測試程序只分配了100k物理內存，這里匿名頁面比分配的要大，這是因為進程在裝載的時候也要消耗一些匿名頁面。

010cc000-010ef000rw-p0000000000:000[heap]
Size:140kB
KernelPageSize:4kB
MMUPageSize:4kB
Rss:108kB
Pss:108kB
Shared_Clean:0kB
Shared_Dirty:0kB
Private_Clean:0kB
Private_Dirty:108kB
Referenced:108kB
Anonymous:108kB
LazyFree:0kB
AnonHugePages:0kB
ShmemPmdMapped:0kB
FilePmdMapped:0kB
Shared_Hugetlb:0kB
Private_Hugetlb:0kB
Swap:0kB
SwapPss:0kB
Locked:0kB
THPeligible:0
VmFlags:rdwrmrmwmeacsd

根據以上信息，可以繪制出測試程序內存的布局圖。

測試程序進程的elf這里只列出了常用的段。代碼段的VMA屬于page cache映射，這里把init段，text段，rodata段分為一個族，因為他們具有相同的權限，在進程加載的時候，會映射到代碼段的VMA中。

數據段的VMA屬于匿名映射，bss，data段具有相同的權限，在OS加載時，會映射到數據段的VMA中。

從數據段開始的地方就屬于堆空間，我們在程序中用malloc分配了100K空間，這100K大小，也是在堆空間有對應的位置存在。

另外就是棧的VMA，進程有屬于自己的VMA的棧。

以上就介紹了進程的ELF如何和進程的地址空間映射起來的。

64位系統的布局圖

64位系統可以訪問的空間就變得很大了。不過是ARM還是X86，實際的物理地址都不會用到64根地址線，通常是使用了48根地址線。而且，劃分的用戶空間和內核空間都是非常大的。

大家可以看這張圖，把空間分為了三部分，一部分是內核空間，一部分是非規范區域（大家都不使用的），最后是用戶空間。

用戶空間：0x0000_0000_0000_0000到0x0000_ffff_ffff_ffff，一共有256TB。

非規范區域

內核空間：0xffff_0000_0000_0000到0xffff_ffff_ffff_ffff。一共有256TB。

內核空間又做了如下細分：

vmalloc區域：vmalloc函數使用的虛擬地址空間，kernel image也在vmalloc區域，內核鏡像的起始地址 = KIMAGE_ADDR + TEXT_OFFSET， TEXT_OFFSET是內存中的內核鏡像相對內存起始位置的偏移。

vmemmap區域：內存的物理地址如果不連續的話，就會存在內存空洞（稀疏內存），vmemmap就用來存放稀疏內存的page結構體的數據的虛擬地址空間。

PCI I/O區域：pci設備的I/O地址空間

Modules區域：內核模塊使用的虛擬地址空間

normal memory線性映射區：范圍是【0xffff_8000_0000_0000, 0xffff_ffff_ffff_ffff】, 一共有128TB, 但這里代碼對應的是memblock_start_of_DRAM()和memblock_end_of_DRAM()函數。memory根據實際物理內存大小做了限制，所以memroy顯示了實際能夠訪問的內存區。

MLM(__phys_to_virt(memblock_start_of_DRAM()),(unsignedlong)high_memory))
high_memory=__va(memblock_end_of_DRAM()-1)+1;

最終是通過dts或acpi中配置的memory節點確定的。