困駕存在巨大的安全隱患。據美國國家公路交通安全管理局估計，2017 年，美國約有 90，000 起車禍由困駕司機所致，造成約 50，000 人受傷和 800 人死亡。雖然汽車制造商致力于研發自動駕駛汽車，但他們尚不能將駕駛員從駕駛任務中徹底解放出來。在這個不可預知的世界里，充斥著漫不經心的行人、惡劣的天氣和糟糕的路況。在這種場景中導航車輛，即使最先進的人工智能 （AI） 技術也會捉襟見肘。在可預見的未來，大多數車輛都不會超越 3 級自動駕駛水平，這就要求駕駛員時刻保持警覺并在車輛發出請求時立即接管。困駕一直是個問題。汽車必須確定駕駛員的意識狀態。對此，潛在的解決方案不盡相同。一些解決方案是利用系統跟蹤駕駛員的眼皮，但這些系統在某些照明條件下或當駕駛員轉頭看向別處時會出現問題。另一些解決方案是評估駕駛員的駕駛動作，例如轉動方向盤。但是，在自動駕駛汽車中，當駕駛員沒有轉動方向盤時，這種評估則不起作用。不過，格拉茨科技大學的一項新研究發現了一種新方法，可通過巧妙應用人工智能從心臟電活動中確定犯困情況。

數據中的模式

訓練強大的機器學習分類算法需要大量經過標注的示例。為了生成經過標注的訓練示例，奧地利團隊使用了定制的駕駛模擬器。這可不是某種電子游戲或您在電子游戲廳內看到的賽車座椅。格拉茨自動駕駛模擬器 （ADSG） 基于的是 MINI Countryman 整車。八個液晶面板將駕駛員環繞，音響系統發出風噪和發動機噪音，低音揚聲器使整個裝置都在振動。格拉茨科技大學工程系教授兼團隊負責人 Arno Eichberger 說道，“這個想法非常切實可行。這對于文中提及的困駕專項研究尤為適用，因為這種單調的駕駛場景仿真起來沒那么難。”他們于是重現了夜間在無任何其他車輛的高速公路上駕駛的場景。“對于一些司機來說，他們獲得了完整的微睡眠，”他說道。該團隊收集了 92 位司機的數據。每位參與測試的司機要來實驗室兩次：一次是在充分休息后，一次是在感覺疲勞時。在疲勞狀態下受試時，他們至少需要有 16 個小時處于清醒狀態，或者他們前一天晚上的睡眠時間不超過 4 個小時。每次前來受試時，他們都參與了手動駕駛和自動駕駛兩種場景。“我們的基本想法是建立一個獨一無二的困駕司機大型數據庫，該數據庫也可以供公眾使用，”Eichberger 表示。雖然研究人員收集了駕駛員的各種數據，包括眼球運動、呼吸、出汗、注視方向和瞳孔擴張情況，但這項研究完全依賴于通過心電圖 （ECG） 電極測量的心臟活動。客觀地衡量犯困程度仍然是一項研究挑戰。但格拉茨科技大學的研究人員在進行相關研究時，邀請交通心理學家觀看駕駛員的錄像，并根據駕駛員打哈欠、打瞌睡和長時間眨眼給出他們的最佳評估，從而創建了真實值標簽。這些心理學家提供了以下四個標簽之一：警覺、中度犯困、極度犯困和入睡。這項研究將后兩者合并為極度犯困。Eichberger 表示，應至少有三個類別的犯困程度，因為如果只有兩個類別（警覺和極度犯困），則當汽車發出警告，提醒您處于極度犯困狀態時，您已經處于危險之中了。

深度睡眠

Eichberger 團隊使用了一種稱為深度學習的機器學習方法。該方法涉及多層神經網絡。他們構建了卷積神經網絡，這是一個專用于處理空間輸入的網絡。這類算法可用來查看貓的照片，辨別其中復雜的模式，并將該圖像識別為貓。以往的困意檢測方法使用手動編碼規則來處理 ECG 信號，這些信號以復雜的波形形式傳播而來。每次心臟跳動時，心電圖中就會生成波形 R 峰。程序員以編程方式讓軟件尋找這些 R 峰，測量它們之間的時間長度，并計算這些時間跨度的變化程度，從而生成與困意相關的心率變異性統計數據。但這些方法可能會遺漏隱藏在 ECG 信號中的其他重要信息，而研究人員并不知道要尋找這些信息。深度學習的強大之處在于，它能夠找到那些微妙的模式，這是人類憑經驗產生直覺的方式。那么，如何將專為圖像設計的卷積神經網絡應用于只是一系列電振幅的 ECG 信號呢？為什么要這樣做呢？第一個問題的答案是，將波轉換為圖像。Sadegh Arefnezhad 以第一作者的身份在 Energies 上發表過一篇有關該新方法的論文。他使用 MATLAB 中的 Wavelet Toolbox 創建了小波尺度圖。時間序列數據可以被視為許多不同頻率的短時“小波”的總和。MATLAB 將波分解成這些更簡單的小波。x 軸表示時間，y 軸表示頻率。在小波尺度圖中，每個點的亮度代表該頻率的小波當時的振幅。為什么要在將波饋送入神經網絡之前將其轉換為著色圖像？MathWorks 首席軟件工程師 Wayne King 說道，“這一思路是，信號的時頻視圖可以使相關特性比原始時域數據更明顯。重要的是，通過創建圖像，研究人員能夠充分利用卷積神經網絡，這是計算機科學家們多年來精心打磨的成果。”Arefnezhad 將這些圖像連同真實值困意標簽一同饋送入一個神經網絡中。該神經網絡是他在 MATLAB 中使用 Deep Learning Toolbox 構建的。Arefnezhad 表示，“這款工具使用起來非常方便。我可以添加不同類型的層，并輕松創建自己的神經網絡。”他訓練該神經網絡將 ECG 信號分類為警覺、中度犯困或極度犯困。該網絡會根據對錯進行自我調整。

夜晚，一位參與者坐在測試車內，佩戴著 ECG 和其他設備，正接受心臟活動、眼球運動、注視方向和瞳孔擴張情況監測。（圖片所有權：Eichberger et al.，格拉茨科技大學）

三張圖顯示 ECG 信號頻率如何隨著受試者逐漸犯困而增加。對于警覺的駕駛員，其頻率為 0.5 赫茲或更低，而對于極度犯困的駕駛員，其頻率則達到 1 赫茲。例如，在處于 （a） 警覺、（b） 中度犯困以及 （c） 極度犯困這三種狀態下，駕駛員的 ECG 信號片段及其相應的小波。（圖片所有權：Arefnezhad et al.，格拉茨科技大學）

使不均衡的數據均衡

網絡的末端是一個重要層，它會考慮到數據不均衡這一現實問題。例如，在人工駕駛測試中，只有 6% 的樣本來自極度犯困的駕駛員。如果算法只是猜測其他兩個標簽，那么它幾乎每次都是正確的。因此，Arefnezhad 增加了一個層，以在訓練過程中對極度犯困的樣本給予更多的關注。他說道，其他一些研究人員饋送的算法數據是在犯困和不犯困之間平均分配的數據。神經網絡包含由定義虛擬神經元之間的連接強度的參數。這些參數在訓練過程中會發生變化。研究人員還在訓練期間使用了超參數。他們設置這些值來控制學習率（參數為響應反饋而發生變化的程度）以及在訓練期間添加的噪音量（這會影響網絡的穩健性）。有些人憑經驗選擇超參數，有些人則使用窮舉搜索法來進行多次嘗試。Arefnezhad 采用了貝葉斯優化。這種優化方法運用概率論隨著時間的推移縮小搜索范圍。該團隊基于前所未見的圖像測試了該網絡，并將其表現與其他兩種機器學習方法進行了比較，這兩種方法都依賴于從 ECG 數據中手動提取的特征。首先，他們收集了 R 峰之間的所有區間。然后，他們計算了 11 個值，如一組區間內的標準差。他們將這些值饋送到以下兩個分類器之一：k 最近鄰 （KNN） 模型和隨機森林。在這些基線方法中，最佳的方法莫過于隨機森林。采用該方法在手動和自動駕駛模式下對困意進行分類時，其精度分別達到了 62% 和 64%。深度學習神經網絡又比該方法略勝一籌。其精度分別達到了 77% 和 79%。讓 Arefnezhad 感到驚訝的是，它竟然能夠在尺度圖中找到正確的線索。他看著這些圖像說道，“您看不出警覺的司機和中度犯困的司機之間有太大區別，但神經網絡很容易識別出來”。

使用 ECG 信號對駕駛員犯困程度進行分類的兩種不同方法：小波尺度圖或衍生的心率變異性特征。使用貝葉斯優化方法對 KNN、隨機森林和 CNN 模型的超參數進行了優化。（圖片所有權：Arefnezhad et al.，格拉茨科技大學）

展望前路

Eichberger 和 Arefnezhad 期待未來有許多方法可用于此項研究。在實際應用中遇到的明顯障礙是，他們使用胸部電極收集 ECG 數據，但駕駛員日常并不會佩戴這種電極。其他傳感器，例如智能手表，可能會取代胸部電極。研究人員還在開發能夠從膚色變化中檢測出脈沖的攝像系統。Eichberger 說道，“研發推向市場的解決方案并非我們的本意。我們旨在證明，可行技術使我們以目前所知的方法無法企及的方式對駕駛員犯困程度進行更有效的分類成為了可能。”他們還希望將得到的 ECG 數據與其他數據相結合，使整個系統更加穩健，以防其中一個信號失效。他們想要創建個性化的分類器，因為信號可能因人而異。如果對分類器進行微調，則駕駛員可能需要在模擬器中花些時間提供數據。Eichberger 和 Arefnezhad 計劃從固定模擬器轉向測試軌道。這樣做可能有助于他們解決另一個問題：“目前，應該如何設計車輛發生故障時啟動的接管程序尚不得而知，”Eichberger 說道。“它該如何告知駕駛員接管車輛？它應該允許駕駛員在多長時間內做出響應？”如果汽車能使駕駛員遠離中度犯困的狀態，則接管車輛會順利得多。Eichberger 說道，“因此，知道駕駛員何時剛進入中度犯困狀態，甚至在此之前可能就已知道，這不啻為巨大的進步。”

編輯：黃飛