本文提出了一種將視覺語言模型（VLM）轉換為端到端導航策略的具體框架。不依賴于感知、規劃和控制之間的分離，而是使用VLM在一步中直接選擇動作。驚訝的是，我們發現VLM可以作為一種無需任何微調或導航數據的端到端策略來使用。這使得該方法具有開放性和可適用于任何下游導航任務的通用性。

01本文核心內容

導航問題的很大一部分涉及到與回答長上下文圖像和視頻問題所需的類似認知過程，這正是當代視覺語言模型（VLMs）擅長的領域。然而，當這些模型被直接應用于導航任務時，局限性便顯現出來。具體而言，當給定一個與觀察-動作歷史相結合的任務描述時，VLMs 常常難以生成精細的空間輸出以避開障礙物，并且無法有效利用其長上下文推理能力來支持有效的導航。

為應對這些挑戰，先前的工作將VLMs作為模塊化系統的一個組成部分，以執行高級推理和識別任務。這些系統通常包含一個明確的3D映射模塊和一個規劃器來處理任務中更具實體性的部分，例如運動和探索。雖然模塊化具有讓每個組件僅用于其擅長的子任務的優勢，但也帶來了系統復雜性和任務專業化的劣勢。

在本研究中，我們表明，現成的VLM可用作零樣本和端到端的語言條件導航策略。實現這一目標的關鍵思路是將導航問題轉化為VLM擅長的事情：回答有關圖像的問題。

為此，我們開發了一種新穎的提示策略，使VLM能夠明確考慮探索和避障問題。這種提示具有通用性，即它可用于任何基于視覺的導航任務。

與先前的方法相比，我們未使用特定模態的experts，未訓練任何特定領域的模型，也未假定能夠獲取模型的概率。

我們在已確立的具身導航基準上對我們的方法進行了評估，結果表明，與現有的提示方法相比，我們的方法顯著提高了導航性能。

02相關工作

最常見的學習端到端導航策略的方法是利用離線數據集從頭訓練模型。然而，大規模導航數據的收集頗具挑戰，以致這些模型在推廣至新任務或分布外環境時往往表現不佳。

另一種增強泛化能力的途徑是利用機器人特定數據對現有的視覺語言模型進行微調。盡管此方法能生成更穩健的端到端策略，但微調可能會破壞微調數據集中未涵蓋的特征，最終限制模型的泛化能力。

還有一種研究方向側重于零樣本使用這些模型，通過提示使模型的響應與任務規范相符。例如，使用CLIP或DETIC特征將視覺觀測與語言目標對齊，構建環境的語義地圖，并采用傳統方法進行規劃。其他研究工作設計了特定模塊來處理探索任務。這些系統通常需要對置信度進行估計，以知曉何時停止探索，這通常通過使用令牌或對象概率來實現。此外，許多此類方法還采用了低級導航模塊，將動作選擇抽象為諸如快速行進法之類的預訓練點到點策略。

視覺提示方法：為了提升VLMs的任務特定性能，近期的工作包括在將圖像傳遞給VLMs之前對其進行物理修改。

為具身導航提示VLMs：CoNVOI在圖像上覆蓋數字標記，并提示VLMs輸出與上下文線索（例如，留在人行道上）一致的這些標記序列，將其用作導航路徑。與我們的工作不同，它們（i）依賴低級規劃器來避開障礙物，而非直接將VLMs的輸出作為導航動作；（ii）未利用VLMs引導代理朝向特定目標位置。PIVOT引入了一種與我們最為相似的視覺提示方法。他們通過將單步動作表示為指向圖像上帶標簽圓圈的箭頭來處理導航問題。在每個步驟中，從各向同性的高斯分布中采樣動作，其均值和方差根據VLMs的反饋迭代更新。在優化分布后選擇最終動作。雖然PIVOT能夠處理各種現實世界的導航和操作任務，但它有兩個顯著缺陷：（i）未納入深度信息來評估動作提議的可行性，導致移動效率較低；（ii）選擇單個動作需要多次調用VLMs，導致較高的計算成本和延遲。

03方法架構

我們提出了VLMnav，這一導航系統將目標G（可以用語言或圖像來指定）、RGB-D圖像I、姿態ξ作為輸入，并隨后輸出動作a。動作空間由機器人框架中繞偏航軸的旋轉和沿前軸的位移組成，使得所有動作都能以極坐標來表示。由于已知VLM在處理連續坐標時存在困難，我們轉而將導航問題轉換為從一組離散選項中選擇動作。我們的核心思路是以避免障礙物碰撞并促進探索的方式來選擇這些動作選項。

我們首先通過使用深度圖像來估計障礙物的距離，從而確定局部區域的可通行性。我們利用深度圖像和姿態信息來維持場景的自上而下的體素地圖，并顯著地將體素標記為已探索或未探索。這樣的地圖由動作提議器使用，以確定一組避免障礙物并促進探索的動作。然后，通過投影組件將這組可能的動作投影到第一人稱視角的RGB圖像上。最后，VLM接收此圖像和精心設計的提示作為輸入，以選擇一個動作，由代理執行。為確定情節的終止，我們使用一個單獨的VLM調用。

04實驗

我們在兩個廣受歡迎的具身導航基準測試ObjectNav和GoatBench上對我們的方法進行了評估，這兩個基準測試均使用了來自Habitat-Matterport3D數據集的場景。此外，我們還分析了端到端VLM智能體的性能如何隨設計參數的變化而改變，例如視場、用于提示模型的上下文歷史長度以及深度感知的質量。

設置：智能體采用半徑為0.17米、高度為1.5米的圓柱體形狀。我們為智能體配備了一個以自我為中心的RGB-D傳感器，其分辨率為(1080,1920)，水平視場角（FOV）為131°。攝像頭像中那樣向下傾斜25°，有助于確定可導航性。考慮到其成本低且效果好，我們在所有實驗中均使用GeminiFlash作為VLM。

指標：與之前的工作相同，我們使用以下指標：(i)成功率（SR）：成功完成的情節所占的比例；(ii)成功率加權逆路徑長度（SPL）：路徑效率的衡量指標。

基線：我們使用PIVOT作為基線，因為它與我們的方法最為相似。為研究我們的動作選擇方法的影響，我們將其剔除，評估“Oursw/onav”：與我們的方法相同，但不含可導航性和動作提議器組件。此基線的動作選擇是一組靜態的、等距分布的動作選擇，包括轉身動作。值得注意的是，這些動作未考慮可導航性或探索。為進一步評估視覺注釋的影響，我們還評估了基線“PromptOnly”，它能看到以文本描述的動作（“轉身”、“向右轉”、“向前移動”等），但沒有視覺注釋。這些不同的提示基線可在圖5中可視化。

05總結

在這項工作中，我們提出了VLMnav，這是一種新穎的視覺提示工程方法，能夠使現成的VLM充當端到端的導航策略。該方法背后的主要思路是精心挑選動作提議并將其投射到圖像上，有效地將導航問題轉化為問答問題。通過在ObjectNav和GOAT基準上的評估，我們發現其性能相較于迭代基線PIVOT（在視覺導航提示工程方面先前的最先進水平）有了顯著提升。我們的設計研究進一步凸顯了寬視場的重要性以及僅使用RGB圖像來部署我們的方法的可能性。

我們的方法存在一些局限性。禁用“允許滑動”參數后性能的大幅下降表明存在多次與障礙物的碰撞，這在實際部署中可能會成為問題。此外，我們發現像[A benchmark for multi-modal lifelongnavigation]這樣的專用系統表現優于我們的工作。然而，隨著VLM能力的不斷提高，該方法或能夠幫助未來的VLM在具身任務中達到或超越專用系統的性能。