無論是設計微芯片還是構建新的蛋白質，神經網絡似乎可以做任何事情。然而，令人不快的是，這些由大腦啟發的人工智能（AI）系統以神秘的方式工作，這引發了人們的擔憂，即他們所做的事情也可能毫無意義。

一項新的研究表明，已有200年歷史的數學方法或有助于揭示神經網絡如何執行諸如預測氣候或模擬湍流等復雜任務。研究人員表示，這反過來有助于提高神經網絡的準確性和學習速度。

在人工神經網絡中，被稱為神經元的部件（類似于人腦中的神經元，因為它們是其系統的基本部件）通過數據和協作以解決問題，例如識別人臉。如果神經網絡擁有多層神經元，則稱之為“深層”。

長期以來，神經網絡得出結論的方式一直被認為是一個神秘的黑匣子，也就是說，網絡無法解釋它是如何得出結論的。休斯頓萊斯大學流體動力學專家、研究高級作者Pedram Hassanzadeh表示，盡管研究人員已經開發出了檢查神經網絡內部工作的方法，但在涉及許多科學和工程應用的網絡時，這些方法往往收效甚微。

為了分析設計用于物理的神經網絡，Hassanzadeh和他的同事們嘗試使用物理中常用的數學技術。該方法被稱為傅里葉分析（Fourier analysi），用于識別數據在空間和時間上的規則模式。

在這項新的研究中，研究人員對一個深度神經網絡進行了實驗，該網絡經過訓練，可以分析大氣中的空氣或海洋中的水中出現的復雜湍流，并預測這些湍流隨時間的變化。Hassanzadeh說，更好地理解神經網絡為分析這些復雜系統而學習的概念，有助于建立更精確的模型，而訓練所需的數據更少。

科學家們對深度神經網絡的控制方程進行了傅里葉分析。每個模型大約有100萬個參數，神經元之間的連接就像乘數，在計算過程中調整這些方程中的特定運算。這些參數被分為40000個五乘五矩陣，稱為內核。

未經訓練的神經網絡的參數通常具有隨機值。在訓練過程中，隨著神經網絡逐漸學會計算越來越接近訓練案例中已知結果的解，神經網絡的參數會被修改和磨練。然后，研究人員可以使用經過充分訓練的神經網絡來分析以前從未見過的數據。

自大約200年前傅里葉分析首次出現以來，研究人員還開發了其他工具來分析數據中的模式，例如篩選背景噪聲的低通濾波器、幫助分析背景信號的高通濾波器，以及圖像處理中經常使用的Gabor濾波器。

Hassanzadeh說：“多年來，我們聽說神經網絡是黑匣子，有太多的參數需要理解和分析。當然，當我們只是查看其中的一些參數時，它們沒有太多意義，而且看起來都不一樣。” 然而，在對所有這些核進行傅立葉分析后，他說，“我們意識到它們是這些光譜濾波器。”

多年來，科學家們一直試圖用該技術來分析氣候和湍流。然而，這些組合在對復雜系統進行建模時往往并不成功。Hassanzadeh說，神經網絡學會了正確組合這些濾波器的方法。

Hassanzadeh解釋道：“許多氣候科學家和機器學習科學家小組正在美國和世界各地合作開發神經網絡增強氣候模型，即混合模型，使用傳統的偏微分方程求解器和神經網絡一起進行更快、更好的氣候預測。” 他補充道，傅里葉分析可以幫助科學家為這些目標設計更好的神經網絡，并幫助他們更好地理解氣候和湍流的基本物理情況。

Hassanzadeh說，除了氣候和湍流模型，傅里葉分析可能有助于研究神經網絡，這些神經網絡被設計用于分析廣泛的其他復雜系統。這些包括“噴氣發動機內的燃燒、風電場內的氣流、許多物質、木星和其他行星的大氣層、等離子體、太陽和地球內部的對流等等”。Hassanzadeh說，研究人員開發了一個通用框架，以幫助將這種方法應用于“任何物理系統和任何神經網絡架構”。

此外，這種方法可能有助于分析“用于圖像分類或神經科學的神經網絡”，Hassanzadeh補充道。然而，他表示，“我們的工作在多大程度上揭開了這些領域的情況，仍有待研究。”

當涉及神經網絡時，一個主要的問題是它們的可推廣性如何，它們是否能夠分析不同于它們所訓練的系統。用于幫助神經網絡從一個系統外推到另一個系統的一種方法被稱為轉移學習。這種方法專注于重新訓練神經網絡中的少量關鍵神經元，以幫助其分析其他系統。這些新發現可能會確定最佳的神經元進行再訓練。

Hassanzadeh說，特別是，轉移學習中的傳統智慧是，最好對最接近模型產生的輸出的最深層的神經元進行再訓練。然而，這項新研究表明，當涉及跨時間和空間數據模式的復雜系統時，他表示，重新訓練最淺的層靠近模型接收的輸入可能會得到更好的性能，而重新訓練最深的層可能會被證明完全無效。

Hassanzadeh說，未來，研究人員的目標是確定神經網絡如何學習組合濾波器以達到最佳結果。1月23日，他和他的同事在PNAS Nexus雜志上詳細介紹了他們的發現，https://academic.oup.com/pnasnexus/article/2/3/pgad015/6998042。

審核編輯 ：李倩