0. 背景

0.1 PetaLinux 是什么

PetaLinux 是 Xilinx 推出的用于在其自家 SoC 上構建嵌入式 Linux 的一套工具集，集成了編譯、調試、仿真等眾多工具。

0.2 原有的搭建 PetaLinux 開發環境的方式有什么問題

實驗室的項目基于 Xilinx 的 Zynq 系列 SoC 開發，需要使用 PetaLinux 構建嵌入式 Linux 系統，第一步就是搭建開發環境。團隊成員平時的主力系統是 Windows，使用虛擬機的方式搭建 Linux 開發環境。搭建開發環境出現困難，或為節省時間的目的時會從其他成員那里復制搭建好環境的虛擬機。這些方式已產生或可能產生的問題可以總結如下：

1. 安裝開發環境的依賴稍顯復雜，且根據操作系統不同而異，新手不易搞定。安裝過程沒有被很好的文檔化，團隊成員重復勞動明顯。

2. 統一操作系統版本困難。開發人員（現有成員、未來加入成員、項目其他團隊的成員）可能使用著不同的 Linux 發行版和版本，因為他們可能有不同的喜好，版本上喜歡嘗鮮或守舊，在既有系統上已經有順手的開發工具和設置等等。而當大家希望統一開發環境或自行搭建失敗時，往往選擇復制整個虛擬機鏡像。

3. 使用復制整個虛擬機的方式傳遞開發環境不夠靈活。表現為：

使用了一段時間后的虛擬機大小可能動輒四五十個 GB，拷貝時間長，難以通過網絡共享。

為保留可回退的環境，可能為虛擬機添加快照，但這會進一步顯著增加虛擬機的體積。

傳遞虛擬機不僅傳遞了需要的開發環境，還傳遞了大量無用的軟件和個人設置，難以兼顧不同開發者之間的習慣差異。

對于不同項目、用途可能存在多個虛擬機，資源冗余很大。

4. 使用虛擬機性能表現差。主機配置不高時，使用虛擬機（可能會再虛擬機內運行 IDE 等其他開發工具）會經常卡頓，降低了開發效率。

5. 使用為某一開發環境而復制來的虛擬機，遷就其環境不愿再安裝合適的開發工具（如 IDE 等）。

0.3 基于 Docker 的解決方案

Docker 作為在很多場景下虛擬機的替代方案備受矚目，其資源消耗小、為單一應用配置環境、易于通過網絡共享等特點很好的解決了上面提到的諸多問題。通過 Docker 來構建 PetaLinux 開發環境，我們可以獲得以下優勢：

經過壓縮的鏡像體積只有 1GB 左右，方便網絡傳輸。

很容易再團隊中統一開發環境，包括操作系統和各種庫。Docker 鏡像的只讀特性保證了有一個可回退的一致環境。

開發環境中的依賴被 Dockerfile 清晰、明確的記錄下來，具有很好的文檔效應，方便團隊長期共享和維護。

Docker 可以運行在之前的虛擬機的操作系統上，也可以運行在一個“精簡”的操作系統上（如 Docker for Windows 的方式），還可以放到服務器上，運行多個容器供團隊成員使用。這使得使用 Linux 環境的方式更加多樣、靈活，且能減少虛擬機性能原因帶來的影響

現在理想很豐滿，但現實中還需要經過一番探究和試驗，下面就讓我們開始。

1. 構建 Docker 鏡像

Docker 的優勢就在于我們可以使用“代碼”來表示需要的環境，它既能描述環境，也能直接指導生成環境，這份“代碼”就是 Dockerfile。下面詳細的記述了這份 Dockerfile 的每一部分，過程中遇到的問題、解決辦法、注意事項等。關于 Dockerfile，可以參考官方的 Dockerfile reference1，以及 Best practices for writing Dockerfiles2。

1.1 設置構建參數

Dockerfile 中允許使用 ARG 指令設置構建時參數，這些參數在 Dockerfile 中具有默認值，在構建時可以通過 --build-arg 參數指定新的值來覆蓋默認值。這些參數可以在 Dockerfile 中被引用（引用方式與在 shell 中引用變量一樣），但不會出現在最終的鏡像里。注意一條 ARG 指令只能指定一個參數，這一點和 ENV 指令是不同的。這里我設置了兩個參數如下：
ARG install_dir=/opt
ARG installer_url=172.17.0.1:8000

其中 install_dir 用來指定 PetaLinux 的安裝路徑，installer_url 用來指定 PetaLinux 安裝包的網絡地址。如果安裝包在互聯網上，則這里是一個訪問鏈接，如果安裝包在本地，則這里被指定為 Docker 的默認網橋，通過它聯通本地網絡服務器和構建時的臨時容器。關于這一部分，我會在后面詳述。

1.2 設置環境變量

通常情況下，PetaLinux 使用一個設置腳本來添加自身的各項工具到環境變量中，在使用相關工具前需要通過 source /settings.sh 來執行腳本。但現在我要制作一個專屬于 PetaLinux 的環境，完全可以把環境變量設置好來免去這個步驟。在 Dockerfile 中使用 ENV 指令來設置環境變量：
ENV PETALINUX_VER=2014.4 \
PETALINUX=${install_dir}/petalinux-v2014.4-final
ENV PATH="${PETALINUX}/tools/linux-i386/arm-xilinx-gnueabi/bin:\
${PETALINUX}/tools/linux-i386/arm-xilinx-linux-gnueabi/bin:\
${PETALINUX}/tools/linux-i386/microblaze-xilinx-elf/bin:\
${PETALINUX}/tools/linux-i386/microblazeel-xilinx-linux-gnu/bin:\
${PETALINUX}/tools/linux-i386/petalinux/bin:\
${PETALINUX}/tools/common/petalinux/bin:\
${PATH}"

這里有兩點需要注意。一是 ENV 雖然支持并推薦在一條指令下設置多個環境變量，但如果這些環境變量之間存在相互引用的情況，就在分開寫了。比如這里設置 PATH 變量時引用了 PETALINUX 變量，它們就不能在同一個 ENV 指令下進行設置了。二是 PATH 這個變量中每個路徑之間不可以有空格，否則是搜索不到可執行文件的，所以這里也只能不顧縮進來保證沒有空格了。網絡上似乎沒有什么解決這個問題的討論，而且在 ENV 指令下我們無法使用任何其他的工具去處理這個字符串。

我們其實也可以把 PetaLinux 提供的 settings.sh 腳本添加到 .bashrc 文件中，使得其每次被自動執行。實際上這個腳本中除了配置環境變量，最后還運行了 PetaLinux 自帶的一個環境檢查工具，用于檢查網絡、磁盤剩余空間等信息，使用前述設置環境變量的方式就忽略這個檢查工具了。

1.3 安裝依賴

在 PetaLinux 的參考指南3中給出了它所依賴的工具和庫，然而并不全面和準確。一是因為有些包已經被替代，現在無法獲得4；二是對于 32 位庫支持5只是一筆帶過，并未具體列出；三是有的包可能因非常基礎而未列出，但是在 Docker 的基礎鏡像中卻沒有包含，如 bc。以下是我測試成功的、在當前基礎鏡像下需要的所有依賴：
RUN dpkg --add-architecture i386 && \
apt-get update && apt-get install -y --no-install-recommends \
# Required tools and libraries of Petalinux.
# See in: ug1144-petalinux-tools-reference-guide, v2014.4.
tofrodos \
iproute \
gawk \
gcc-4.7 \
git-core \
make \
net-tools \
rsync \
wget \
tftpd-hpa \
zlib1g-dev \
flex \
bison \
bc \
lib32z1 \
lib32gcc1 \
libncurses5-dev \
libncursesw5-dev \
libncursesw5:i386 \
libncurses5:i386 \
libbz2-1.0:i386 \
libc6:i386 \
libstdc++6:i386 \
libselinux1 \
libselinux1:i386 \
# Using expect to install Petalinux automatically.
expect \
&& rm -rf /var/lib/apt/lists/* /tmp/* \
&& ln -fs gcc-4.7 /usr/bin/gcc \
&& ln -fs gcc-ar-4.7 /usr/bin/gcc-ar \
&& ln -fs gcc-nm-4.7 /usr/bin/gcc-nm \
&& ln -fs gcc-ranlib-4.7 /usr/bin/gcc-ranlib

這里我們使用 --no-install-recommends 參數來避免安裝不必要的包，并在安裝結束后清理 /var/lib/apt/lists/ 和 /tmp/ 目錄，以盡可能的使鏡像精簡。

由于在 Ubuntu 16.04 上安裝 GCC 會默認安裝 gcc 5 的版本，而 2014.4 版本的 PetaLinux 應該沒有適配 gcc 5，會出現很多警告。這里采取的辦法是安裝 gcc-4.7，并修改符號鏈接，使 /usr/bin/gcc 指向這一版本的 GCC。事實上我并不確切知道應該安裝哪個版本，在 PetaLinux 2016.4 中指定了使用 gcc 4.8。這里影響應該不大，因為真正用于構建項目的交叉編譯器是 PetaLinux 自帶的。

在網上搜索時發現，一般資料都沒有介紹如何直接更改一個軟連接的指向。不知道的情況下，就只能先刪除再重建這個鏈接了。最終還是在 Stack Overflow 上找到了答案，其實我們可以使用 -f 選項在一條命令中更改軟連接的指向。這個技巧在后面還會用到。

1.4 使用 expect 腳本自動安裝 PetaLinux

PetaLinux 的安裝包在安裝過程中會顯示許可證協議，并要求用戶輸入確認信息。這樣的交互方式給我們的自動化處理造成了一點小困難，然而程序員前輩們肯定是不允許這種不能自動化的情況持續的，expect 這個工具就是專門用來自動處理這種需要交互輸入的情況的。expect 常常用來處理 SSH 登陸等需要交互輸入密鑰的情況，它會監視一個程序的輸出，并在捕獲到了特定的輸出后給出一個預設的輸入。這里我們使用一個 auto-install.sh 腳本來自動安裝 PetaLinux，腳本的內容如下：
#!/usr/bin/env expect
set timeout -1
set install_dir [lindex $argv 0]

spawn ./petalinux-v2014.4-final-installer.run $install_dir
expect "Press Enter to display the license agreements"
send "\r"
expect "*>*"
send "y\r"
expect "*>*"
send "y\r"
expect eof

第一行聲明使用 expect 這個工具來解釋此腳本，/usr/bin/env 會遍歷 PATH 變量來尋找后面的可執行文件，這樣避免了依賴于 expect 的安裝路徑。

第二行設置等待超時，因為 PetaLinux 的安裝過程比較慢，這里將其設為 -1，即一直等待。

第三行設置一個變量來接收此腳本的參數，我們借此來指定希望將 PetaLinux 安裝到哪個目錄下。注意 expect 腳本設置參數的方式和 bash 腳本不同，參數 0 代表我們調用腳本時給出的第一個參數，而在 bash 腳本中，參數 0 代表腳本本身的名字。

第五行用 spawn 命令去執行安裝程序。PetaLinux 的安裝程序的第一個參數也是安裝路徑。

接下來我們用 expext 命令來捕獲程序的輸出，用 send 命令發送預設的輸入。安裝程序提示你確認協議的語句是這樣的：Do you accept this license? [y/N] >，直接用 expext 匹配這一句會有問題，因為至少 [] 在 expect 的語法中是有特定含義的，需要轉義。已無心情研究 expect 那奇怪的語法，所幸它有很棒的模糊匹配功能，我們只需要匹配最后一個 > 字符就可以了。

1.5 減小鏡像體積

PetaLinux 的安裝包在 Xilinx 官方網站上可以下載，但需要先注冊，沒有固定的下載鏈接。所以要么需要在構建前把它下載到本地，要么在互聯網上尋找一個合適的托管地點，可以提供穩定的下載鏈接。

PetaLinux 的安裝包比較大（2014.4 版有 1.2GB，而 2016.4 已經到了喪心病狂的 8.3 GB），在安裝完成后，安裝包再留在鏡像中已經沒有什么意義了，還會顯著的增加鏡像的體積。這里要理解 Docker 的鏡像是由一個個的層（layer）組成的，Dockerfile 中的每一條指令都對應于一層，每一層都是在前一層的基礎上進行的增量的改變。這意味著，一旦我們在某一層中引入了一個文件，即使在下一層中將其刪除，對體積的減小也無濟于事，我們只是無法在最終的容器中“看見”它們而已。如果我們使用 COPY 指令將 PetaLinux 的安裝包添加進去，則 COPY 指令會生成一個層，我們無法再把它產生的體積抹除掉。Stack Overflow 上有一個關于這個問題的討論6，主要提到了三種方式：一是在本地構建一個網絡服務器，通過網絡的方式傳到 Docker 容器的內部，我采用了這種方式，后面詳述；二是不能使用 Dockerfile 的方式構建容器，而是在容器中完成安裝和清理工作后手動提交更改到鏡像；三是使用第三方工具對生成的鏡像進行再壓縮。

這里使用網絡是更好的方式，一方面如果我們在互聯網或者私有服務器上存放了安裝包，通過更改 installer_url 變量就可以使用新的地址獲取文件；另一方面，在本地可以使用 Python 輕松的創建一個 HTTP 服務器。在 Dockerfile 中，我們使用 wget 下載安裝包、配置其權限、運行自動安裝腳本，最后刪除安裝包。這些步驟必須在一個 RUN 指令下完成，這樣安裝包才不會留在最終的鏡像里。
WORKDIR $install_dir
COPY ./auto-install.sh .

RUN wget -q $installer_url/petalinux-v2014.4-final-installer.run && \
chmod a+x petalinux-v2014.4-final-installer.run && \
./auto-install.sh $install_dir && \
rm -rf petalinux-v2014.4-final-installer.run

在外部，我使用了一個腳本來封裝啟動 HTTP 服務器、構建 Docker 鏡像、停止服務器的步驟：
#!/usr/bin/env bash
installer_dir=$1
docker_context=`pwd`

echo "Start to build petalinux tools docker image ..."
echo "-----------------------------------------------"

cd $installer_dir
python3 -m http.server &
server_pid=$!

cd $docker_context
installer_ip=`ifconfig docker0 | grep 'inet\s' | awk '{print $2}'`
docker build -t petalinux-docker:2014.4 \
--build-arg installer_url=${installer_ip}:8000 \
.

kill $server_pid
echo "---------------"
echo " Finish. ^_^ "
echo "---------------"

這個腳本的第一個參數是安裝包在本地的路徑。首先讓服務器在后臺建立，并記錄下其對應的 pid，在完成鏡像的構建后再將其殺死。Python 創建的服務器會默認監聽 8000 端口。在容器內部（Docker 構建的過程即相當于在臨時的容器中執行 Dockerfile 的過程）可以通過 Docker 的默認網橋（docker0）的 IP 地址來訪問本地主機。網橋對應的 IP 地址并不是唯一的，Docker 是根據主機中網卡的配置不同，選擇一個沒有被占用的私有網段（如果 3 類私有 IP 網段都被占用了，Docker 啟動時會報錯），也可以自行更改，所以這里我們從 ifconfig 的輸出中提取 docker0 對應得 IP 地址。docker build 命令中 -t 參數為鏡像指定標簽，--build-arg 參數用來覆蓋我們在 Dockerfile 內部設置的參數，最后一個參數 . 指的是構建環境（build context）為當前路徑。注意，如果你將安裝包放在了這個構建環境的同一個目錄下，一定要通過 .dockerignore 文件來忽略這個安裝包文件，因為否則它會被發送到 Docker daemon 上，增加構建時間且毫無用處，除非你要使用 COPY 指令的方式導入安裝包。

1.6 其他

PetaLinux 會檢查 shell 環境，并推薦使用 Bash。在 Ubuntu:16.04 的鏡像中 /bin/sh 這個軟連接指向的是 /bin/dash，這里我們將其更改為 /bin/bash。

RUN ln -fs /bin/bash /bin/sh # bash is PetaLinux recommended shell

使用 WORKDIR 指令新建了一個 /workspace 的路徑用于連接數據卷。最后一個 WORKDIR 指定的路徑就會是進入容器后的所在路徑，這一點似乎官方文檔沒有明說。

WORKDIR /workspac

1.7 鏡像的構建

如果安裝包放在本地，則如 1.5 節所述，使用 build-image.sh 腳本構建鏡像。如果安裝包在互聯網或本地服務器上，則直接使用 docker build 命令，并使用 installer_url 參數指定訪問地址。

2. 測試

你可以自行按照上面的方法自行構建鏡像，也可以從 Docker Hub 上下載我上傳好的鏡像：
docker pull xaljer/petalinux:2014.4

運行容器：
docker run -ti -v /path/to/projects:/workspace xaljer/petalinux:2014.4

在容器中創建工程并編譯：
petalinux-create -t project -s
-n
cd
petalinux-build # 構建整個工程，會比較慢

3. 現有問題和下一步工作

3.1 現有問題

PetaLinux 2014.4 支持的原本是 Ubuntu 14.04，但使用此版本的鏡像時發現，其軟件源似乎有些問題，經常安裝失敗，故沒有使用。

PetaLinux 會提示找不到 tftp，這是因為沒有對其進行進一步的配置。如果不使用 tftp 可以忽略這個問題。

在 Docker for Windows 下構建時，可能會出現錯誤7，將存儲驅動更改為 aufs 后可修復。然而 Windows 下構建的鏡像仍有其他問題，無法使用，作者尚未對其作更多的測試和探究。

3.2 下一步工作

添加 Vivado SDK 的一些工具。

PetaLinux 工具的名字都有點長，可以考慮在鏡像里對常用的操作添加別名。但在容器外部作可能會更方便一些，因為我們不必交互式的進入容器，而是使用 docker exec 來執行命令，此時可以在容器外面為整個命令添加別名。

有了標準化環境，不僅可以在自己的電腦上運行，還希望放在私有服務器上，讓大家通過網絡訪問。要達到這樣的目的，一要能通過 SSH 訪問容器，二要能在服務器的數據卷和本地計算機之間同步數據（源碼及編譯結果）。對于 SSH，初步設想可以通過外部的一些 Docker 工具來完成，而不是在容器內部建立 SSH 服務器，因為有多個容器時，要對應多個不同端口等問題。對于數據同步，可以在本地的 Windows 系統上通過 Linux 子系統（WSL）建立 NFS 服務器，在容器內部掛載 NFS，或者通過 Docker 的插件實現直接將遠端的 NFS 作為數據卷掛載。

4. 總結

如果并不需要 Docker 的一些優勢，我們也可以考慮將 PetaLinux 裝進 Windows 的 Linux 子系統（WSL），這樣可以有更好的性能和更無縫的操作。

使用虛擬機在 Windows 下搭建嵌入式開發環境是以往非常常用的方式，但也是一種比較笨重的方式。隨著一些新的技術、平臺的出現，如 Docker 和 WSL，我們可以嘗試利用它們搭建開發環境，提升開發的效率。

參考

Dockerfile reference?

Best practices for writing Dockerfiles?

PetaLinux Reference Guide?

unable to locate packag lib32bz2-1-0?

how to run 32 bit app in ubuntu 64 bit?

how to add a file to an image in dockerfile without using the add or copy direct?

fails on ‘tar’ with: “Directory renamed before its status could be extracted”?