來自北卡羅來納州立大和亞利桑那州立大學(xué)的研究人員開發(fā)了一種智能系統(tǒng)，可以“調(diào)節(jié)”動力假肢膝蓋，讓患者在幾分鐘內(nèi)就能自如地使用假肢行走，而不是由訓(xùn)練有素的臨床醫(yī)生來調(diào)節(jié)所需的幾個小時。該系統(tǒng)是第一個完全依靠強化學(xué)習(xí)來調(diào)整機器人假肢的系統(tǒng)。當(dāng)患者接受機器人假膝時，該設(shè)備需要進行調(diào)整以適應(yīng)特定的患者。新的調(diào)整系統(tǒng)調(diào)整了12個不同的控制參數(shù)，處理假體動力學(xué)，如關(guān)節(jié)剛度，在整個步態(tài)周期。通常情況下，醫(yī)生會與患者一起修改一些參數(shù)。這可能需要幾個小時。新系統(tǒng)依靠一個計算機程序，利用強化學(xué)習(xí)來修改所有12個參數(shù)。它允許患者使用動力假膝在大約10分鐘的時間內(nèi)在平坦的地面上行走。

博科園-科學(xué)科普：研究人員從隨機選擇一組參數(shù)為患者提供動力假膝開始，然后讓病人在可控的情況下開始行走。設(shè)備上的數(shù)據(jù)和病人步態(tài)是通過設(shè)備上的一套傳感器收集。一個計算機模型對設(shè)備上的參數(shù)進行調(diào)整，并將患者的步態(tài)與實時正常行走步態(tài)進行對比。該模型可以判斷哪些參數(shù)設(shè)置提高了性能，哪些設(shè)置損害了性能。利用強化學(xué)習(xí)，計算模型可以快速識別出患者能夠正常行走的參數(shù)集?，F(xiàn)有的方法，依靠訓(xùn)練有素的臨床醫(yī)生，需要半天的時間。雖然這項工作目前是在一個可控的臨床環(huán)境中完成，但目標(biāo)之一是開發(fā)該系統(tǒng)的無線版本，這將允許用戶在真實環(huán)境中使用時繼續(xù)微調(diào)動力假肢參數(shù)。

該論文的合著者、亞利桑那州立大學(xué)電氣、計算機和能源工程教授詹妮·西(Jennie Si)說：這項工作是針對病人在平地上行走的情況進行，但原則上，也可以針對上下樓梯等情況開發(fā)強化學(xué)習(xí)控制器。從動態(tài)系統(tǒng)控制的角度進行了強化學(xué)習(xí)，它考慮了傳感器的噪音、來自環(huán)境的干擾，以及系統(tǒng)安全和穩(wěn)定的要求，研究人員意識到學(xué)習(xí)實時控制一個同時受到人體使用者影響假體設(shè)備是一個前所未有的挑戰(zhàn)。這是一個協(xié)同適應(yīng)問題，沒有現(xiàn)成的解決方案，無論是從經(jīng)典的控制設(shè)計或目前的，最先進的強化學(xué)習(xí)控制機器人。研究人員很激動地發(fā)現(xiàn)，強化學(xué)習(xí)控制算法確實學(xué)會了在如此激動人心的應(yīng)用環(huán)境中讓假肢設(shè)備作為人體的一部分工作。研究人員希望使這一過程更加有效，例如，通過識別或多或少可能成功的參數(shù)組合，并訓(xùn)練模型首先關(guān)注最有希望的參數(shù)設(shè)置，可能能夠改進流程。

研究人員指出，盡管這項研究很有前途，但在廣泛應(yīng)用之前，還需要解決許多問題。例如本研究的假體調(diào)整目標(biāo)是滿足正常的步行膝關(guān)節(jié)運動，沒有考慮其他步態(tài)性能(如步態(tài)對稱性)或用戶的偏好。另一個例子是，調(diào)優(yōu)方法可用于在診所和實驗室之外對設(shè)備進行微調(diào)，使系統(tǒng)隨著時間的推移適應(yīng)用戶需要。但是需要確保實際使用中的安全性，因為控制中的錯誤可能會導(dǎo)致絆倒和摔倒，還需要更多的測試來證明安全性。研究人員還指出，如果該系統(tǒng)被證明是有效的，并得到廣泛使用，它可能會通過限制患者與醫(yī)生進行臨床訪問的需求，從而降低患者的成本。其研究成果論文名為《機器人膝關(guān)節(jié)假體個性化的在線強化學(xué)習(xí)控制》，發(fā)表在《IEEE控制學(xué)報》(IEEE Transactions on Cybernetics)上。