1.開場白

環境：

處理器架構：arm64

內核源碼：linux-5.9.2

ubuntu版本：20.04.1

代碼閱讀工具：vim+ctags+cscope

對于Ｌinux愛好者，你是否也有這樣的困擾，為了學習Ｌinux而去購買昂貴的開發版，這大可不必，QEMU模擬器幾乎可以滿足你的需求，足夠你去學習Linux，它能夠模擬x86， arm， riscv等各種處理器架構，本文將向你呈現的不是QEMU/虛擬化的原理解讀，而是如何搭建一個用于學習linux的QEMU環境，當然對于Ｌinux內核的學習這已經足夠了。

注：這篇文章是之前寫的，當時最新內核版本是linux-5.9.２，不想做重復工作，現在基本上都使用linux-5.11內核講解代碼，但是qemu環境搭建基本一致，且本文暫不涉及虛擬化講解。

2.交叉編譯工具鏈的安裝

工欲善其事必先利其器，搭建ＱＥＭＵ的模擬環境首先需要下載安裝對應架構的交叉編譯工具鏈（這里是arm64架構）：注：有時候需要安裝一些依賴，根據提示安裝即可！

$ sudo apt-get install gcc-aarch64-linux-gnu `

安裝完成之后查看版本說明安裝完成：

$ aarch64-linux-gnu-gcc -v

Using built-in specs.

COLLECT_GCC=aarch64-linux-gnu-gcc

COLLECT_LTO_WRAPPER=/usr/lib/gcc-cross/aarch64-linux-gnu/5/lto-wrapper

Target： aarch64-linux-gnu

Configured with： 。./src/configure -v --with-pkgversion=‘Ubuntu/Linaro 5.5.0-12ubuntu1’ --with-bugurl=file:///usr/share/doc/gcc-5/README.Bugs --enable-languages=c，ada，c++，go，d，fortran，objc，obj-c++ --prefix=/usr --program-suffix=-5 --enable-shared --enable-linker-build-id --libexecdir=/usr/lib --without-included-gettext --enable-threads=posix --libdir=/usr/lib --enable-nls --with-sysroot=/ --enable-clocale=gnu --enable-libstdcxx-debug --enable-libstdcxx-time=yes --with-default-libstdcxx-abi=new --enable-gnu-unique-object --disable-libquadmath --enable-plugin --enable-default-pie --with-system-zlib --enable-multiarch --enable-fix-cortex-a53-843419 --disable-werror --enable-checking=release --build=x86_64-linux-gnu --host=x86_64-linux-gnu --target=aarch64-linux-gnu --program-prefix=aarch64-linux-gnu- --includedir=/usr/aarch64-linux-gnu/include

Thread model： posix

gcc version 5.5.0 20171010 （Ubuntu/Linaro 5.5.0-12ubuntu1）

3.QEMU的安裝

下面安裝我們的QEMU，當然我們可以下載QEMU的源碼通過編譯的方式安裝，但這里我們是直接apt-get的這種方式安裝：

$ sudo apt-get install qemu-system-arm

安裝完成之后同樣查看版本號：

$ qemu-system-aarch64 --version

QEMU emulator version 4.2.0

Copyright （c） 2003-2019 Fabrice Bellard and the QEMU Project developers

說明安裝成功！

4．根文件系統制作

這一步我們將要完成的是最小的根文件系統，雖然是最小的根文件系統，但是我們還是希望能夠運行動態編譯的應用程序，具體的制作過程如下：

１）首先準備下載一份Busybox源碼：Busybox的官方源碼下載路徑為：

http://busybox.net/downloads/

這里我們使用的是busybox-1.28.1：

2）解壓源碼

tar xvf busybox-1.28.1.tar.bz2

3）進入源碼目錄

cd busybox-1.28.1

4）指定工具鏈

export ARCH=arm64

export CROSS_COMPILE=aarch64-linux-gnu-

5）配置

make menuconfig1靜態編譯：

Settings ---》

［*］ Build static binary （no shared libs）

6）編譯安裝

make

make install

7）完善其他目錄結構上面我們編譯安裝完成之后會在busybox源碼目錄的_install目錄下生成必要的一些文件：

$ ls

bin linuxrc sbin usr

可以看到都是一些命令相關的文件已經作為init進程的linuxrc，缺少其他的一些配置文件等目錄，所以需要進一步完善。

我們來創建其他需要的目錄：

mkdir dev etc lib sys proc tmp var home root mnt

我們主要需要更新etc、dev和lib目錄：

１）對于etc目錄的更新：

添加profile文件：

#！/bin/sh

export HOSTNAME=liebao

export USER=root

export HOME=/home

export PS1=“［$USER@$HOSTNAME W］# ”

PATH=/bin:/sbin:/usr/bin:/usr/sbin

LD_LIBRARY_PATH=/lib:/usr/lib：$LD_LIBRARY_PATH

export PATH LD_LIBRARY_PATH

可以看到我們自定義了命令提示符，cd進入了我們制定的家目錄homes，導出了環境變量。

添加inittab文件：

：/etc/init.d/rcS

：-/bin/sh

：-/bin/sh

：/bin/umount -a -r

這個是init進程解析的配置文件，通過這個配置文件決定執行哪個進程，何時執行。

添加fstab文件：

#device mount-point type options dump fsck order

proc /proc proc defaults 0 0

tmpfs /tmp tmpfs defaults 0 0

sysfs /sys sysfs defaults 0 0

tmpfs /dev tmpfs defaults 0 0

debugfs /sys/kernel/debug debugfs defaults 0 0

kmod_mount /mnt 9p trans=virtio 0 0

指定掛載的文件系統。

創建init.d目錄：

mkdir init.d

init.d下添加rcS文件：

mkdir -p /sys

mkdir -p /tmp

mkdir -p /proc

mkdir -p /mnt

/bin/mount -a

mkdir -p /dev/pts

mount -t devpts devpts /dev/pts

echo /sbin/mdev 》 /proc/sys/kernel/hotplug

mdev -s

到此我們etc下的文件都制作好了，目錄結構如下：

$ tree

。

├── fstab

├── init.d

│ └── rcS

├── inittab

└── profile

1 directory， 4 files

２）制作dev下必要文件：

cd dev/

sudo mknod console c 5 1

制作lib下必要文件：為了支持動態編譯的應用程序的執行，根文件系統需要支持動態庫，所以我們添加arm64相關的動態庫文件到lib下：

cd lib

cp /usr/aarch64-linux-gnu/lib/*.so* -a 。

對庫文件進行瘦身（去除符號表和調試信息），使得庫文件變小：

aarch64-linux-gnu-strip *

至此，我們的最小的根文件系統已經全部制作完成！

5．內核源碼的編譯

１）下載最新的Ｌiunx內核源碼：

官網下載最新的Ｌinux-5.9.２內核：http://www.kernel.org/pub/linux/kernel/

２）解壓

tar xvf linux-5.9.2.tar.xz

３）放置根文件系統到源碼目錄：

cd linux-5.9.2

cp 。./。./busybox-1.31.1/_install _install_arm64 -a

４）配置

添加hotplug支持：

diff --git a/arch/arm64/configs/defconfig b/arch/arm64/configs/defconfig

index 6d04b9577..f89143b69 100644

--- a/arch/arm64/configs/defconfig

+++ b/arch/arm64/configs/defconfig

@@ -1043，3 +1043，6 @@ CONFIG_DEBUG_KERNEL=y

#CONFIG_DEBUG_PREEMPT is not set

#CONFIG_FTRACE is not set

CONFIG_MEMTEST=y

+

+CONFIG_UEVENT_HELPER=y

+CONFIG_UEVENT_HELPER_PATH=“/sbin/hotplug”

添加initramfs的支持：

diff --git a/arch/arm64/configs/defconfig b/arch/arm64/configs/defconfig

index f89143b69..caa7a34bf 100644

--- a/arch/arm64/configs/defconfig

+++ b/arch/arm64/configs/defconfig

@@ -1046，3 +1046，5 @@ CONFIG_MEMTEST=y

CONFIG_UEVENT_HELPER=y

CONFIG_UEVENT_HELPER_PATH=“/sbin/hotplug”

+

+CONFIG_INITRAMFS_SOURCE=“_install_arm64”

４）編譯

現在進行漫長的編譯過程，編譯的快慢取決于電腦的性能：

export ARCH=arm64

export CROSS_COMPILE=aarch64-linux-gnu-

make defconfig

make all -j8

6.開始體驗

１）創建共享目錄

$ mkdir kmodules

用于主機和qemu運行的系統進行共享文件。

２）運行ｑｅｍｕ模擬器：

qemu-system-aarch64 -machine virt -cpu cortex-a57 -machine type=virt

-m 1024 -smp 4 -kernel arch/arm64/boot/Image --append “rdinit=/linuxrc root=/dev/vda rw console=ttyAMA0 loglevel=8” -nographic

--fsdev local，id=kmod_dev，path=$PWD/kmodules，security_model=none

-device virtio-9p-device，fsdev=kmod_dev，mount_tag=kmod_mount

其中：-cpu指定了模擬的cpu為 cortex-a57，-m 1024 指定內存大小為１Ｇ， -smp 4指定模擬的系統為４核處理器 ，-kernel指定啟動的內核鏡像， --append指定傳遞的命令行參數，后面的選項指定共享目錄已經使用的９P協議。

運行起來之后就進入了跟文件系統：

Please press Enter to activate this console.

［root@liebao ］#

［root@liebao ］#

［root@liebao ］#

［root@liebao ］# uname -a

Linux （none） 5.9.2-gacff57f0a #1 SMP PREEMPT Sat Oct 31 1125 CST 2020 aarch64 GNU/Linux

可以看到內核版本是我們編譯的新的Ｌinux-5.9.２內核，到處我們成功搭建了ＱＥＭＵ環境來運行我們的新內核。

３）使用模擬磁盤

上面我們使用initramfs的方式將我們的根文件系統的目錄直接打包到內核源碼，成為了內核的一部分，當然這個時候可以操作文件，但是文件都是在內存中，系統重啟就會丟失，所以下面我們使用模擬磁盤的方式來掛載根文件系統。

制作磁盤文件：

dd if=/dev/zero of=rootfs_ext4.img bs=1M count=8192

mkfs.ext4 rootfs_ext4.img

mkdir -p tmpfs

mount -t ext4 rootfs_ext4.img tmpfs/ -o loop

cp -af _install_arm64/* tmpfs/

umount tmpfs

rm -rf tmpfs

chmod 777 rootfs_ext4.img

執行qemu命令：

qemu-system-aarch64 -machine virt -cpu cortex-a57 -machine type=virt

-m 1024 -smp 4 -kernel arch/arm64/boot/Image --append “noinitrd root=/dev/vda rw console=ttyAMA0 loglevel=8” -nographic

-driver if=none，file=rootfs_ext4.img，id=hd0

-device virtio-blk-device，drive=hd0

--fsdev local，id=kmod_dev，path=$PWD/kmodules，security_model=none

-device virtio-9p-device，fsdev=kmod_dev，mount_tag=kmod_mount

我們可以發現，傳遞給內核的命令行參數變化了，添加了noinitrd選項，這樣就會掛載我們自己的模擬磁盤。

同樣能進入到最小文件系統，但是這次我們查看：

［root@liebao ］# df -mh

Filesystem Size Used Available Use% Mounted on

/dev/root 7.8G 148.5M 7.3G 2% /

devtmpfs 468.4M 0 468.4M 0% /dev

tmpfs 489.8M 0 489.8M 0% /tmp

kmod_mount 901.1G 672.5G 182.8G 79% /mnt

可以看到大小為８Ｇ的磁盤可以我們使用，而且文件的操作重啟之后不會丟失！！！

４）共享文件

前面已經支持了主機和ｑｅｍｕ上的系統共享目錄，這個目錄就是kmodules目錄：通過mount可以查看被掛載到了ｑｅｍｕ上的系統的/mnt目錄下

在主機的內核源碼目錄的kmodules目錄中ｅｃｈｏ一個文件：

$ echo “Hello QEMU” 》 test.txt

然后進入到我們啟動ｑｅｍｕ的內核根文件系統的/mnt目錄：

［root@liebao ］# cd /mnt/

［root@liebao mnt］# ls

［root@liebao mnt］# ls

test.txt

［root@liebao mnt］#

［root@liebao mnt］# cat test.txt

Hello QEMU

可以看到我們之前寫的文件，共享目錄ＯＫ！

5）測試－》應用測試：我們來寫一個簡單的hello world應用程序，體驗一下在ＱＥＭＵ中的系統執行：源碼如下：

#include 《stdio.h》

int main（int argc， char **argv）

{

printf（“Hello World， QEMU！！！

”）;

return 0;

}

然后使用交叉編譯工具鏈動態編譯：

$ aarch64-linux-gnu-gcc test.c -o test

拷貝到共享目錄下：

cp test 。./。./kmodules/

在ＱEMU系統中，進入/mnt目錄下執行：

［root@liebao mnt］# 。/test

Hello World， QEMU！！！

可以發現被成功執行了，說明模擬出來的系統可以運行應用程序，而且可以使用動態鏈接庫！！！

-》內核模塊測試：下面寫一個簡單的內核模塊：

Ｍakefile文件：

export ARCH=arm64

export CROSS_COMPILE=aarch64-linux-gnu-

KERNEL_DIR ？= /home/hanch/study/kernel/linux-5.9.2

obj-m ：= module_test.o

modules：

$（MAKE） -C $（KERNEL_DIR） M=$（PWD） modules

clean：

$（MAKE） -C $（KERNEL_DIR） M=$（PWD） clean

install：

cp *.ko $（KERNEL_DIR）/kmodules

內核模塊文件module_test.c：

#include 《linux/init.h》

#include 《linux/module.h》

#include 《linux/kernel.h》

static int __init module_test_init（void）

{

printk（“module_test_init

”）;

return 0;

}

static void __exit module_test_exit（void）

{

printk（“module_test_exit

”）;

}

module_init（module_test_init）;

module_exit（module_test_exit）;

MODULE_LICENSE（“GPL”）;

編譯拷貝：

$ make modules

make -C /home/hanch/study/kernel/linux-5.9.2 M=/home/hanch/study/kernel/linux-5.9.2/mydriver/module_eg modules

make［1］： 進入目錄“/home/hanch/study/kernel/linux-5.9.2”

CC ［M］ /home/hanch/study/kernel/linux-5.9.2/mydriver/module_eg/module_test.o

MODPOST /home/hanch/study/kernel/linux-5.9.2/mydriver/module_eg/Module.symvers

CC ［M］ /home/hanch/study/kernel/linux-5.9.2/mydriver/module_eg/module_test.mod.o

LD ［M］ /home/hanch/study/kernel/linux-5.9.2/mydriver/module_eg/module_test.ko

make［1］： 離開目錄“/home/hanch/study/kernel/linux-5.9.2”

$ make install

cp *.ko /home/hanch/study/kernel/linux-5.9.2/kmodules

到QEMU的內核系統中，進入/mnt目錄下：執行模塊的插入/移除：

［root@liebao mnt］# insmod module_test.ko

［ 1406.614976］ module_test_init

［root@liebao mnt］# lsmod

module_test 16384 0 - Live 0xffff800008d40000 （O）

［root@liebao mnt］# rmmod module_test

［ 1424.748114］ module_test_exit

內核模塊也正常運行！！！

文章到這里關于ＱＥＭＵ體驗最新的Ｌinux內核已經完成了，當然ＱＥＭＵ有多功能在此不在描述，目前配置的ＱＥＭＵ環境已經足夠內核的學習和實際，只有大量的內核源代碼＋在一種體系架構的處理器上實際內核才能真正的去理解內核的實現機理，才能更好去使用內核。

原文標題：使用QEMU搭建ARM64實驗環境

文章出處：【微信公眾號：Linuxer】歡迎添加關注！文章轉載請注明出處。

責任編輯：haq