基于ARQ反饋的無人機通信中繼自主選擇研究

摘要:?無人機通信是實現無人機功能的關鍵環節，且往往以中繼通信方式存在。中繼選擇是提升中繼通信效能的一種重要方法。本文研究無人機中繼通信在無信息情況下通過自主學習進行中繼選擇的問題，提出基于自動重傳請求(ARQ)反饋的1 bit成功與否信息構建效用函數(即信息成功傳輸概率)，并利用多臂老虎機(MAB)中的湯普森采樣算法進行中繼選擇。實驗表明，基于ARQ反饋的1 bit信息進行選擇，無論信道差異大小，都能以較大的概率最終收斂到最優中繼，并且信道差異大時，收斂速度更快更穩定，收斂到最優中繼的概率更大。

1. 引言

隨著低成本小型化無人機技術的不斷發展，得益于其機動靈活和按需即時部署等優點，無人機將在軍民領域發揮越來越重要的作用?[1] [2]。建立和維持無人機間的無線通信鏈路是實現無人機應用的關鍵環節。無人機通信往往以中繼通信的方式存在 [3]，而中繼選擇是實現無人機中繼通信效能提升的關鍵技術 [4]。

由于無人機大規模等特點導致其決策交互信息過多等問題?[5]，與傳統無線中繼通信相比，無人機通信往往難以獲得中繼選擇決策所需要的信息。本文研究無人機中繼通信在無信息條件下，通過自主學習獲取中繼選擇所需信息，從而進行中繼選擇。

在傳統基于自主學習進行中繼選擇的研究中，存在多種多樣的效能函數設計方法進行中繼選擇，實現不同的性能函數優化?[6] - [14]。這些方法在各自的應用場景和模型中都能完成最優中繼選擇。然而，現有研究中效用函數采用的具體性能指標各異，如容量、誤碼性能、延時、用戶滿意度等，且效用函數多是連續值。不同研究采用不同的效用函數形式，難以形成統一機制和在不同通信系統中相互兼容。本文提出利用自動重傳請求(Automatic Repeat reQuest, ARQ)的1bit成功與否反饋信息設計效用函數(即信息成功傳輸概率)進行中繼選擇，以期實現統一的效用函數設計和在不同系統中的兼容。

ARQ是通信系統鏈路層的基本功能、基礎協議，廣泛存在于移動通信、無線局域網和短波通信等無線通信領域 [15]。ARQ通過重傳保證通信質量，利用1比特信息(0和1)指示傳輸成功與否，具有協議基礎廣泛和反饋信息少等優點。通過ARQ信息，可間接獲得系統的信道質量、誤碼和容量等信息。本文提出通過ARQ獲得信息傳輸成功概率，并將其作為效用函數，利用多臂老虎機(Multi-Armed Bandit, MAB) [16] 進行中繼選擇。在給定無人機中繼通信兩跳信道條件下，基于ARQ反饋設計效用函數進行中繼選擇的實驗表明：無論是在信道差異大還是信道差異小，使用湯普森采樣算法均有較大的概率能夠選擇到最優中繼；信道差異大時，選擇到最優中繼的收斂速度更快，收斂更穩定且收斂到最優中繼的概率更大。

2. 基于自主學習的無人機中繼選擇模型

2.1. 無人機中繼通信模型

無人機通常以集群的方式執行通信任務。在充當中繼時，發送方先在無人機集群中選擇一個無人機作為中繼發送信息，無人機接收到信息后將信息放大并轉發至接收方。本文研究的是收發雙方及收發雙方和中繼無人機均處于相對固定位置且信道質量不發生變化的情況下的中繼選擇。圖1為無人機群進行中繼通信選擇的模型。

Figure 1. Model of relay selection for UAV communication

圖1. 無人機通信中繼選擇模型

2.2. 基于ARQ反饋信息進行中繼選擇方法

在上圖所示通信過程中，發射方向無人機發送信息，無人機接收發送方信息并作為中繼轉發至接收方。接收方如譯碼成功，它反饋一個成功指示信息(本文中設定反饋為1)，表示此次信息發送成功，反饋信息通過無人機中繼傳輸后到達發送方。發送方收到反饋信息1后，將繼續發送新的信息。如果接收方譯碼失敗，它發送消極的反饋(本文中設定反饋為0)，則表示接收信息發生錯誤，發送方將重傳發送的信息。

在上述過程中不同的無人機作為中繼傳輸信息會產生不同的傳輸效果。因此，發送方可以根據收到的反饋信息確定哪個無人機具有最好的通信效果。上述模型中，假設反饋信息(1或0)可以通過專用控制信道無差錯傳輸，且不同無人機之間反饋的信息互相不干擾。本文基于ARQ的反饋信息，設計無人機中繼通信效用函數，來反映無人機作為中繼時轉發信息的成功概率，并采取MAB中的湯普森采樣算法進行中繼選擇。這種算法是在無外界信息情況下，通過自主學習獲得中繼選擇所需信息，然后進行中繼選擇，即通過自主學習獲得不同無人機轉發信息成功概率，并以此作為效用函數進行中繼選擇。一些事先并不知道成功概率的問題，通過做若干次試驗以及統計成功的次數，可以很直觀地計算出成功概率，但是由于成功概率是未知的，計算出來的概率只能是成功概率的最優估計。因此，不能確定概率的具體數值，但是它也是一個隨機變量，符合beta分布。這樣其先驗分布是Beta分布，且每個選擇的收益的分布是Bernoulli分布，在這種情況下的后驗分布仍然是Beta分布。

湯普森采樣算法要先記錄每個選擇成功和失敗的次數?αα?和?ββ，生成每個選擇的beta分布，用每個選擇現有的beta分布產生一個隨機數，比較選擇所有臂產生的隨機數中最大的那個選擇。假定進行1000次中繼選擇，選擇的過程如圖2。

Figure 2. Relay selection flow chart using Thompson sampling algorithm

圖2. 湯普森采樣算法中繼選擇流程圖

2.3. 最優中繼選擇理論分析

考慮自由空間的傳播損耗，當天線具有單位增益時，其路徑損耗為：?PL(db)=?10lg[λ2(4π)2d2]PL(db)=?10lg[λ2(4π)2d2]，則可得到自由空間傳播損耗因子為：?α=λ4πdα=λ4πd。令發送端與無人機中繼間的自由空間傳播損耗為?α1α1，無人機中繼與接收端間的自由空間傳播損耗為?α2α2。首先由發射端發送信號給無人機中繼，則可得到無人機中繼接收的信號為：

3. 仿真

為了驗證本文算法的性能，使用MATLAB平臺，結合兩跳鏈路的中繼選擇模型分析分別在信道差異大和信道差異小的情況下湯普森采樣算法進行中繼選擇的情況。

仿真的通信場景如圖1所示。仿真參數設置如下：無人機中繼的個數?nB=20nB=20，本模型隨機設定每個無人機與發送方及接收方的?|h1||h1|?和?|h2||h2|?的瑞利分布的參數，?|h1||h1|?和?|h2||h2|?的值將由對應的分布隨機產生，具體的瑞利分布參數將按信道差異大和信道差異小兩種情況隨機產生。設定每個無人機和發送節點及接收節點間的距離?d1d1?和?d2d2?的值為4000 m。設定發送端的發送功率?PF=10?WPF=10?W，發射波的波長?λλ?= 1米，無人機的發送功率?PW=10?WPW=10?W，無人機中繼和接收端接收的噪聲功率分別為?N1=N2=2e?11?WN1=N2=2e?11?W，門限信噪比?SNRm=30?dBSNRm=30?dB。設定選擇的次數?nP=1000nP=1000?次。無人機與接收方及發信方的距離均設置為4000 m，兩種類型信道設置分別如下。

信道差異大的情況：使?|h1||h1|?和?|h2||h2|?瑞利分布的參數σ1和σ2均勻分布在0.3到1的區間內；具體如表1。

信道差異小的情況：使?|h1||h1|?和?|h2||h2|?瑞利分布的參數σ1和σ2均勻分布在0.9到1的區間內。具體如表2。

Table 1. Setting of Rayleigh distribution parameters σ1 and σ2 for channel with large channel differences

表1. 信道差異大時信道的瑞利分布的參數σ1和σ2的設置

Table 2. Setting of Rayleigh distribution parameters σ1 and σ2 for channel with small channel differences

表2. 信道差異小時信道的瑞利分布的參數σ1和σ2的設置

Figure 3. The comparison of success probability between selecting by Thompson sampling algorithm and optimal relay in theory, when channel?difference is large

圖3. 信道差異大時湯普森采樣算法選擇成功概率與理論最優中繼成功概率比較

Figure 4. The comparison of success probability between selecting by Thompson sampling algorithm and optimal relay in theory, when channel difference is small

圖4. 信道差異小時湯普森采樣算法選擇成功概率與理論最優中繼成功概率比較

如圖3為在信道差異大的情況下總的成功概率隨著選擇的變化情況，圖4為在信道差異小的情況下的總的成功概率隨著選擇的變化情況。

從仿真結果可以看出，在信道差異大和信道差異小兩種情況下最終都收斂于最優的中繼，但明顯在信道差異大時收斂速度較快且比較穩定。為了使結果更加可靠，隨機設定信道參數并進行1000次實驗，每次實驗選擇1000次直到收斂到最優中繼為止，統計1000次實驗中收斂到最優中繼的次數，并生成柱形圖圖5。

Figure 5. The probability of convergence to optimal relay in 1000 experiments when channel difference is large and small

圖5. 1000次實驗中信道差異大和信道差異小兩種情況下收斂到最優中繼的概率

當信道差異大時，可看到收斂到最優中繼的概率達到了95%，當信道差異小時收斂到最優中繼的概率也達到了50%。可見湯普森采樣算法能夠較準確的選擇出最優的中繼。

4. 結論

本文提出利用ARQ反饋的1bit成功與否信息構建效用函數(即信息傳輸成功概率)，基于MAB方法進行自主學習獲取無人機中繼通信中的信息，進行中繼選擇。所提的基于ARQ反饋進行中繼選擇方法能以大概率選出最優中繼。同時，基于ARQ反饋進行效用函數設計可不改變現有通信協議，容易與現有系統兼容。

審核編輯：湯梓紅