人-信息-物理系統(tǒng)(HCPS)的智能制造理論體系明確了人在智能制造系統(tǒng)的中心地位。從智能制造人機(jī)協(xié)同的需求出發(fā),基于人機(jī)交互鴻溝理論,在行為、意圖、認(rèn)知三個(gè)層面討論了人因工程在“人本智造”中的研究重點(diǎn)。圍繞虛實(shí)融合場(chǎng)景、多模態(tài)人機(jī)交互及認(rèn)知量化等方法,闡述了人因工程在促進(jìn)HCPS智能融合的重要作用。最后,從實(shí)現(xiàn)HCPS集成的智能制造系統(tǒng)出發(fā),提出了“人本智造”的研究方向和學(xué)科發(fā)展建議。

本文作者：楊曉楠、房浩楠、李建國(guó)、薛 慶。? ? ? ??

引言 ? ? ? ?

“十四五”規(guī)劃綱要提出深入實(shí)施制造強(qiáng)國(guó)戰(zhàn)略,推動(dòng)智能制造發(fā)展,促進(jìn)制造業(yè)智能化升級(jí),實(shí)現(xiàn)向“中國(guó)智造”的轉(zhuǎn)變。目前,我國(guó)制造業(yè)持續(xù)快速發(fā)展,形成了門類齊全、獨(dú)立完整的產(chǎn)業(yè)體系,有力推動(dòng)了我國(guó)的工業(yè)化和現(xiàn)代化進(jìn)程。同世界先進(jìn)水平相比,我國(guó)制造業(yè)存在大而不強(qiáng)等問題,自主創(chuàng)新能力、資源利用效率、產(chǎn)業(yè)結(jié)構(gòu)水平、信息化程度、質(zhì)量效益等方面的差距尤其明顯,工業(yè)智能化轉(zhuǎn)型升級(jí)和跨越發(fā)展的任務(wù)緊迫而艱巨。

新一代互聯(lián)網(wǎng)、人工智能、數(shù)字孿生等技術(shù)的不斷發(fā)展為我國(guó)智能制造的發(fā)展持續(xù)注入了強(qiáng)勁的動(dòng)力。過分追求信息化、數(shù)字化的生產(chǎn)模式已不能滿足生產(chǎn)車間柔性化、用戶個(gè)性定制化等復(fù)雜作業(yè)的需求,智能制造中的難點(diǎn)開始凸顯,因此生產(chǎn)趨勢(shì)急需改變,人作為關(guān)鍵因素不能再被忽視。工業(yè)5.0 的概念逐漸引起人們的重視,作為工業(yè)4.0的延續(xù)和補(bǔ)充,工業(yè)5.0除了注重產(chǎn)業(yè)結(jié)構(gòu)優(yōu)化和自動(dòng)化水平提升,又將人置于制造業(yè)中心,讓技術(shù)主動(dòng)服務(wù)和適應(yīng)人,并更注重人的價(jià)值和感受。以人為中心的智能制造要考慮工人的安全感和幸福感,打消工人對(duì)工業(yè)革命浪潮帶來的“機(jī)器換人”的擔(dān)憂和顧慮,讓勞動(dòng)力重回工廠。

在汽車行業(yè),由于頻繁變更的車型,企業(yè)需要制造系統(tǒng)具備更加柔性化的部署[1],以滿足智能制造面臨的小批量、多品種的生產(chǎn)需求。在3C行業(yè),電子產(chǎn)品的更新?lián)Q代周期通常在1到2年,這導(dǎo)致生產(chǎn)線經(jīng)常需要改造,部署調(diào)整成本高[2]。因此無論是考慮生產(chǎn)周期還是實(shí)施成本,僅依靠工業(yè)機(jī)器人很難滿足這些行業(yè)的生產(chǎn)需求。作為一種模塊化的小型智能化工廠實(shí)踐,整個(gè)智能生產(chǎn)單元由自動(dòng)化模塊、信息化模塊和智能化模塊組成,包含設(shè)備、機(jī)器人、AGV、網(wǎng)絡(luò)、信息數(shù)據(jù)等。智能生產(chǎn)單元將人作為關(guān)鍵因素,由人負(fù)責(zé)對(duì)柔性、觸覺、靈活性要求比較高的工序,機(jī)器人則利用其快速、準(zhǔn)確的特點(diǎn)來負(fù)責(zé)重復(fù)性的工作,以“最小的智能化工廠”實(shí)現(xiàn)多品種、小批量的生產(chǎn)智能化。如何落實(shí)人機(jī)交互生產(chǎn)模式,將操作人員、機(jī)器人和輔助設(shè)備等進(jìn)行模塊化、集成化、一體化的聚合,通過人與機(jī)器人的協(xié)調(diào)合作,充分發(fā)揮機(jī)器人的效率及人類的智能,使制造系統(tǒng)具備多品種、小批量產(chǎn)品的柔性生產(chǎn)輸出能力,已成為解決當(dāng)前智能制造發(fā)展瓶頸的關(guān)鍵[3]。因此,開展人機(jī)交互的生產(chǎn)模式,使人和機(jī)器和諧共處,滿足消費(fèi)者對(duì)產(chǎn)品個(gè)性定制化的需求,打消工人對(duì)失業(yè)的擔(dān)憂,使人回歸制造業(yè)。

本文著重分析智能制造系統(tǒng)中的人機(jī)協(xié)同需求與人機(jī)交互鴻溝，從行為、意圖、認(rèn)知三個(gè)層次闡述人因工程在縮小人機(jī)交互鴻溝、實(shí)現(xiàn)人機(jī)協(xié)作中的重要性，并在此基礎(chǔ)上結(jié)合數(shù)字孿生、混合現(xiàn)實(shí)等先進(jìn)技術(shù)的發(fā)展與應(yīng)用,提出面向智能制造的人機(jī)交互的人因工程發(fā)展建議。

1

智能制造中的人機(jī)協(xié)同

智能制造的藍(lán)圖中,人機(jī)協(xié)同成為主流的生產(chǎn)和服務(wù)方式。由于人與“機(jī)”的深度協(xié)作,人在智能制造系統(tǒng)中的作業(yè)任務(wù)和要求都發(fā)生了巨大的變化。盡管人不再承擔(dān)重復(fù)性的工作,但仍是決策回路系統(tǒng)的中心環(huán)節(jié),始終處于主導(dǎo)地位[4-5]。人機(jī)協(xié)同的深層內(nèi)涵是“人機(jī)智能融合”,它代表人與“機(jī)”需要共同完成指定任務(wù)。在完成動(dòng)態(tài)作業(yè)任務(wù)的過程中,制造系統(tǒng)需要與工作人員保持步調(diào)一致,面對(duì)動(dòng)態(tài)作業(yè)需求,進(jìn)行資源適配與自主協(xié)同,實(shí)現(xiàn)協(xié)調(diào)生產(chǎn)。ZHOU等[6]提出的人-信息-物理系統(tǒng)(human-cyber-physical system,HCPS)的智能制造發(fā)展理論,明確了以物理系統(tǒng)(機(jī)器、機(jī)器人、加工過程)為主體、以信息系統(tǒng)為主導(dǎo)、以人為決策主宰的技術(shù)體系(圖1)。通過信息系統(tǒng)遷移人的部分感知、分析和控制功能,替代人的大部分體力勞動(dòng)和部分腦力勞動(dòng)。人與物理系統(tǒng)的結(jié)合使整個(gè)制造系統(tǒng)具備較高的生產(chǎn)效率、生產(chǎn)能力和生產(chǎn)質(zhì)量[7]。根據(jù)智能制造的人-信息-物理系統(tǒng)發(fā)展理論,智能制造人機(jī)協(xié)同中的“機(jī)”具有兩層含義:一是信息系統(tǒng),即人與計(jì)算機(jī)等智能體、智能系統(tǒng)的交互(human-computer interaction);二是物理系統(tǒng),即人與機(jī)器人、設(shè)備等物理實(shí)體的交互(human-robot interaction)。本章從智能制造人機(jī)協(xié)同的需求出發(fā),對(duì)人與信息系統(tǒng)、物理系統(tǒng)交互的研究重點(diǎn)進(jìn)行闡述,并梳理上述過程中存在的人機(jī)交互鴻溝。

圖1 新一代人-信息-物理系統(tǒng)的原理簡(jiǎn)圖[6] Fig.1 Schematic diagram of the new HCPS

1.1?/ 人與信息系統(tǒng)的交互

智能制造系統(tǒng)[8]是建立在新一代信息技術(shù)之上、面向人機(jī)協(xié)同與生產(chǎn)過程自治的新一代HCPS。HCPS中的關(guān)鍵問題在于如何實(shí)現(xiàn)人與“機(jī)”的智能融合。在復(fù)雜且動(dòng)態(tài)變化的生產(chǎn)任務(wù)下,信息系統(tǒng)如何通過數(shù)據(jù)與模型對(duì)物理系統(tǒng)進(jìn)行實(shí)時(shí)的感知、認(rèn)知、分析、決策與控制,并與人一起不斷優(yōu)化分配資源,進(jìn)行合理的任務(wù)決策與調(diào)度,實(shí)現(xiàn)資源的在線適配,從而實(shí)現(xiàn)對(duì)作業(yè)需求的快速響應(yīng)與協(xié)同生產(chǎn)。數(shù)字孿生作為信息-物理空間交互融合的有效手段,能更好地反映實(shí)際生產(chǎn)狀態(tài),使操作人員更好地了解系統(tǒng)的整體運(yùn)行情況。數(shù)字孿生技術(shù)通過物理模型、傳感器更新、運(yùn)行歷史等數(shù)據(jù),建立物理世界與虛擬世界的雙向動(dòng)態(tài)連接,為解決信息和物理系統(tǒng)的融合提供了有效途徑[9-10]。

柔性生產(chǎn)趨勢(shì)下,實(shí)現(xiàn)人機(jī)協(xié)作的核心問題是如何實(shí)現(xiàn)人與制造系統(tǒng)的有效協(xié)同,尤其是針對(duì)信息系統(tǒng)的狀態(tài)感知。智能化的生產(chǎn)系統(tǒng)必然產(chǎn)生復(fù)雜的信息系統(tǒng),隨著數(shù)字孿生、深度學(xué)習(xí)、知識(shí)工程等在不同領(lǐng)域的發(fā)展與應(yīng)用,如何實(shí)現(xiàn)人與制造系統(tǒng)數(shù)字孿生體的無縫銜接[11-13],使人通過信息系統(tǒng)快速準(zhǔn)確地掌握整個(gè)系統(tǒng)的運(yùn)行狀態(tài),已成為實(shí)現(xiàn)人與“機(jī)”智能融合的又一關(guān)鍵問題。

1.2?/ 人與物理系統(tǒng)的交互

物理系統(tǒng)主要指智能制造系統(tǒng)中的智能設(shè)備及機(jī)器人。隨著機(jī)器人與自動(dòng)化控制技術(shù)的發(fā)展,工業(yè)機(jī)器人憑借控制精度高、反應(yīng)速度快、工作能力強(qiáng)等優(yōu)勢(shì),已成為發(fā)展智能制造不可忽視的重要組成部分。現(xiàn)在,絕大部分的產(chǎn)業(yè)化工業(yè)機(jī)器人一直未能脫離預(yù)編程/遙操作的控制方式,很多工廠雖通過部署機(jī)器人實(shí)現(xiàn)了自動(dòng)化,但智能化程度不高[14]。為保證人機(jī)交互的安全,需將人與工業(yè)機(jī)器人的工作區(qū)域隔離開,無法實(shí)現(xiàn)真正意義上的人機(jī)協(xié)作。人與靈活、安全的物理系統(tǒng)共同協(xié)作已成為發(fā)展以人為中心的智能制造系統(tǒng)的關(guān)鍵[15-16]。人與機(jī)器人共同完成動(dòng)態(tài)作業(yè)任務(wù),充分發(fā)揮人與機(jī)器的長(zhǎng)處是未來智能制造的重要研發(fā)方向。

與汽車行業(yè)相比,航空航天、造船和建筑等領(lǐng)域的制造任務(wù)和過程過于復(fù)雜,裝配精度要求高,目前仍依賴手工操作[17],因此有必要開展人機(jī)協(xié)作的研究。由協(xié)作機(jī)器人輔助人來完成復(fù)雜作業(yè),使人的腦力、體力維持在最佳水平,并使大腦認(rèn)知資源的需求與大腦認(rèn)知資源對(duì)任務(wù)的供給處于平衡[18],避免負(fù)荷過載和欠載對(duì)操作人員的負(fù)面影響[19-20],減輕人的負(fù)擔(dān),提高任務(wù)執(zhí)行效率和生產(chǎn)安全性。LIU等[21]研究了肌電信號(hào)控制協(xié)作機(jī)器人的相關(guān)算法,SARA等[22]探索了指導(dǎo)性手勢(shì)在工業(yè)領(lǐng)域人機(jī)協(xié)作場(chǎng)景下的有效性。歐姆龍于2020年推出的“人機(jī)協(xié)作的智能化單元生產(chǎn)線”融合了人工智能、物聯(lián)網(wǎng)、大數(shù)據(jù)分析等先進(jìn)技術(shù),針對(duì)多品種、小批量生產(chǎn)模式,實(shí)現(xiàn)了生產(chǎn)效率、柔性、品質(zhì)的提升,通過人與機(jī)器的互相感知,可在同一現(xiàn)場(chǎng)通過互補(bǔ)、協(xié)助實(shí)現(xiàn)超柔性生產(chǎn)。國(guó)內(nèi)協(xié)作機(jī)器人行業(yè)的領(lǐng)軍者——遨博于2021年推出的“利用機(jī)器人生產(chǎn)機(jī)器人的智能化柔性生產(chǎn)線”,通過模塊化設(shè)計(jì)及協(xié)作生產(chǎn)等方式,為協(xié)作機(jī)器人在工業(yè)生產(chǎn)領(lǐng)域中的人機(jī)協(xié)作應(yīng)用提供了穩(wěn)定高效的參考樣本。

上述研究均表明,自動(dòng)化和智能化的發(fā)展并不會(huì)完全替代人,如何保障人與物理系統(tǒng)的交互順暢,使機(jī)器快速準(zhǔn)確地捕獲操作人員的作業(yè)意圖是實(shí)現(xiàn)人機(jī)協(xié)同作業(yè)的關(guān)鍵。

1.3?/ 人機(jī)交互鴻溝

智能工廠是實(shí)現(xiàn)智能制造的重要載體,智能工廠環(huán)境下,人與信息物理系統(tǒng)的關(guān)系從傳統(tǒng)的操作控制模式逐步向人機(jī)協(xié)作的方式轉(zhuǎn)變。實(shí)現(xiàn)人機(jī)交互的首要任務(wù)是建立一個(gè)能實(shí)現(xiàn)人與機(jī)信息傳輸?shù)那?這主要包括3個(gè)階段:①操作人員感知信息物理系統(tǒng),并用自然便捷的行為方式表達(dá)作業(yè)意圖;②信息物理系統(tǒng)準(zhǔn)確理解操作人員的作業(yè)意圖,完成智能分析、決策與控制,對(duì)不同任務(wù)做出反應(yīng);③對(duì)上述人機(jī)信息傳輸過程進(jìn)行認(rèn)知能力評(píng)估,調(diào)節(jié)優(yōu)化雙方的作業(yè)方式,從而最大程度降低認(rèn)知負(fù)荷和疲勞度。因此,要想準(zhǔn)確有效構(gòu)建人與信息及物理系統(tǒng)的友好協(xié)作關(guān)系,還需解決現(xiàn)存的人機(jī)交互鴻溝問題。

人機(jī)交互鴻溝包括評(píng)估鴻溝(gulf of evaluation)和執(zhí)行鴻溝(gulf of execution)[23],即人與“機(jī)”每次交互時(shí)都會(huì)面臨認(rèn)知系統(tǒng)狀態(tài)、對(duì)系統(tǒng)做出反應(yīng)并執(zhí)行操作的兩大挑戰(zhàn),這貫穿于人“機(jī)”信息傳輸?shù)?個(gè)階段。評(píng)估鴻溝指的是人在與系統(tǒng)交互的過程中,對(duì)系統(tǒng)狀態(tài)的理解與系統(tǒng)實(shí)際運(yùn)行情況的差異。執(zhí)行鴻溝指的是在交互過程中,人需要采取行動(dòng)實(shí)現(xiàn)特定目標(biāo)時(shí),操作者的心理認(rèn)知與系統(tǒng)的實(shí)際運(yùn)行方式之間的差距。人機(jī)交互中,評(píng)估和執(zhí)行階段相互依存,描述了操作人員成功與任何系統(tǒng)完成交互所必須經(jīng)歷的循環(huán),如圖2所示,成功的評(píng)估需要感知系統(tǒng)呈現(xiàn)信息的狀態(tài)指標(biāo)并理解其含義,成功的執(zhí)行需要弄清楚要做什么來完成目標(biāo)。

圖2 人機(jī)交互中的評(píng)估與執(zhí)行鴻溝 Fig.2 Gulf of evaluation and execution in human-computer interaction

智能制造的信息物理系統(tǒng)與操作人員之間必然存在評(píng)估鴻溝與執(zhí)行鴻溝。如果系統(tǒng)不能清楚表示當(dāng)前狀態(tài),操作人員就必須付出大量的認(rèn)知資源來了解系統(tǒng)的當(dāng)前狀況、下一步操作后會(huì)發(fā)生什么,并且不斷推測(cè)、判斷之前的操作有沒有更接近目標(biāo)。隨著系統(tǒng)復(fù)雜性的提高,人需要克服的交互鴻溝也越來越大。系統(tǒng)是由設(shè)計(jì)人員(專家)創(chuàng)造的,因此鴻溝主要出現(xiàn)在操作人員與專家之間,設(shè)計(jì)者需要了解人使用系統(tǒng)的操作習(xí)慣與認(rèn)知能力,研究人的潛在學(xué)習(xí)理論與心智模型是幫助減小交互鴻溝的有效途徑。

2

“以人為本”的智能制造

2.1?/ 智能制造中人的因素

新一代智能制造更加強(qiáng)調(diào)人的中心地位[24],智能制造發(fā)展的目的是更好地為人服務(wù)。基于 HCPS 理論,王柏村等[25]提出了包含單元級(jí)智能制造、系統(tǒng)級(jí)智能制造、系統(tǒng)之系統(tǒng)級(jí)智能制造的人本智造架構(gòu),并從產(chǎn)品、生產(chǎn)、模式、基礎(chǔ)建設(shè)4個(gè)維度對(duì)“人本智造”進(jìn)行了闡述(圖3)。其中,以人為本的智能產(chǎn)品是主體,以人為本的智能生產(chǎn)是主線,以人為本的產(chǎn)業(yè)模式變革是主題,以人為本的智能制造基礎(chǔ)建設(shè)是研究的理論與方法基石。

圖3 “人本智造”四個(gè)維度中的人因工程[25] Fig.3 Human factors in four-dimension of human-centered intelligent manufacturing[25]

從智能制造全生命周期的角度出發(fā)[26],結(jié)合人所擔(dān)任的角色,可以看出智能制造的不同環(huán)節(jié)均需考慮人的因素,這包括人的作用、人體工效學(xué)、認(rèn)知工效學(xué)、組織工效學(xué)、人機(jī)關(guān)系等(圖4)。國(guó)內(nèi)外學(xué)者對(duì)人在制造系統(tǒng)中的關(guān)鍵地位、決定性作用進(jìn)行了分析,梳理了制造系統(tǒng)中的人的因素及相關(guān)研究,認(rèn)為先進(jìn)技術(shù)只有真正和人協(xié)同起來才能充分發(fā)揮作用,進(jìn)而真正帶來智能化生產(chǎn)的效益[27-29]。

圖4 智能制造系統(tǒng)中人的因素[25] Fig.4 Human factors in intelligent manufacturing systems

隨著新一代智能制造相關(guān)研究的發(fā)展,大數(shù)據(jù)智能、群體智能、跨媒體智能、混合增強(qiáng)智能及自主無人系統(tǒng)極大改變了人在系統(tǒng)中的作用[30-31]。由于信息系統(tǒng)開始具備深度學(xué)習(xí)和自主認(rèn)知及決策的相關(guān)基本能力,人可以將更多的重復(fù)性工作或簡(jiǎn)單腦力勞動(dòng),甚至知識(shí)型工作交給信息系統(tǒng)完成。這使得人可以將更多的精力放在思考和需要更多想象力與創(chuàng)造力的工作上,這一變化將貫穿整個(gè)智能制造系統(tǒng)的設(shè)計(jì)、生產(chǎn)、物流、銷售、服務(wù)等環(huán)節(jié)。此類系統(tǒng)中,人主要作為系統(tǒng)的設(shè)計(jì)者存在,雖然直接參與系統(tǒng)的實(shí)時(shí)運(yùn)行與控制性工作減少,但仍然需要參與系統(tǒng)的運(yùn)維、創(chuàng)新和優(yōu)化等環(huán)節(jié)[32]。

人在系統(tǒng)中的角色和作用發(fā)生改變直接導(dǎo)致人機(jī)關(guān)系的變化。智能工廠環(huán)境下,人與信息物理系統(tǒng)的關(guān)系從傳統(tǒng)的操作控制模式逐步向人機(jī)交互的方式轉(zhuǎn)變。與此同時(shí),工業(yè)5.0的發(fā)展也將人機(jī)交互的模式從“人適應(yīng)機(jī)器”轉(zhuǎn)變?yōu)椤皺C(jī)器服務(wù)于人”。LI等[33]指出人機(jī)協(xié)作的主要目標(biāo)在于機(jī)器協(xié)助人而不是取代人,減少人在生產(chǎn)線上的重復(fù)工作,降低人體的工程學(xué)壓力和工作負(fù)荷,提高生產(chǎn)質(zhì)量和效率,實(shí)現(xiàn)人機(jī)優(yōu)勢(shì)互補(bǔ)。NAHAVANDI[34]強(qiáng)調(diào)工業(yè)5.0將會(huì)提高人機(jī)之間的主動(dòng)性,以及互學(xué)習(xí)、互理解、互輔助融合能力,機(jī)器認(rèn)知能力的增強(qiáng)使機(jī)器適應(yīng)不斷變化的環(huán)境及任務(wù),與人可以進(jìn)行自然的深度交流、互學(xué)習(xí)、互推理,更好地協(xié)助于人、服務(wù)于人。

從行為、意圖、認(rèn)知三個(gè)層次分析智能制造中人的中心地位已成為當(dāng)前的研究重點(diǎn),相關(guān)研究成果如表1所示[35-44]。利用動(dòng)作捕捉等技術(shù),采用生物力學(xué)、人機(jī)工程學(xué),從行為層面對(duì)工人作業(yè)姿勢(shì)進(jìn)行疲勞度分析;引入機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、動(dòng)態(tài)決策、神經(jīng)網(wǎng)絡(luò)算法等先進(jìn)技術(shù),分析人的行為表征,推測(cè)、預(yù)判人的作業(yè)意圖;為人機(jī)交互過程構(gòu)建人體認(rèn)知負(fù)荷評(píng)估模型,形成有效的認(rèn)知負(fù)荷均衡機(jī)制和優(yōu)化方法,從認(rèn)知層面形成自適應(yīng)調(diào)節(jié)。這些都從不同領(lǐng)域闡述了智能制造中研究人的因素的重要性。

↓ 表1 智能制造中人的因素相關(guān)研究成果 Tab.1 Research achievements related to human factors in intelligent manufacturing

與此同時(shí),更多學(xué)者將人因工程的研究引入智能制造系統(tǒng),YANG等[45]針對(duì)智能制造監(jiān)控系統(tǒng)開展了“人在回路”的相關(guān)人因研究,探索通過瞳孔變化預(yù)測(cè)腦力負(fù)荷,以提高監(jiān)控系統(tǒng)的宜人性設(shè)計(jì)。王柏村等[46]將“面向智能制造的人因工程”定義為:基于對(duì)人、機(jī)器、技術(shù)和環(huán)境的深入研究,發(fā)現(xiàn)并利用人的自然行為方式、工作能力、作業(yè)限制等特點(diǎn),通過對(duì)智能制造系統(tǒng)中相關(guān)信息與工具、任務(wù)和環(huán)境、人員安排等進(jìn)行合理設(shè)計(jì),以提高智能制造系統(tǒng)的效率、安全性、舒適性和有效性的工程技術(shù)。由此看來,在“以人為本”的模式下,智能制造系統(tǒng)中的人因研究尤為重要,但針對(duì)該領(lǐng)域的研究相對(duì)匱乏,因此如何讓智能系統(tǒng)的設(shè)計(jì)更符合人的使用習(xí)慣,有效縮小人機(jī)交互鴻溝,使人能及時(shí)掌握復(fù)雜系統(tǒng)的運(yùn)行態(tài)勢(shì)并做出正確反應(yīng),已成為人與智能系統(tǒng)融合的重要研究領(lǐng)域。

2.2?/ 人因工程助力“人本智造”

人因工程(human factor engineering,HFE)是近年來隨著科技全面進(jìn)步與工業(yè)化水平大幅度的提升而迅猛發(fā)展的一門綜合性交叉學(xué)科,它綜合運(yùn)用生理學(xué)、心理學(xué)、人體測(cè)量學(xué)、生物力學(xué)、計(jì)算機(jī)科學(xué)、系統(tǒng)科學(xué)等多學(xué)科的研究方法和手段,致力于研究人、機(jī)器及所處工作環(huán)境之間的相互關(guān)系和影響,以提高系統(tǒng)性能并確保人的安全、健康和舒適[47-48]。

面對(duì)工業(yè)4.0的迅猛發(fā)展和工業(yè)5.0的到來,人因工程始終以提高生產(chǎn)效率為目標(biāo),深入解決復(fù)雜的人與自動(dòng)化、智能化的安全高效交互的問題[49]。隨著制造業(yè)的進(jìn)步與發(fā)展,人因工程的關(guān)注焦點(diǎn)也從傳統(tǒng)的降低疲勞、體力解放、效率提升,轉(zhuǎn)變到人的智能增強(qiáng),同時(shí)也推動(dòng)了制造業(yè)的進(jìn)步,特別是提升了工業(yè)、計(jì)算機(jī)等領(lǐng)域的信息交互系統(tǒng)的適人性水平[50-51]。同樣,本文將人因工程研究及發(fā)展方向從行為、意圖、認(rèn)知三個(gè)層面進(jìn)行聚焦(圖5)。

圖5 人本智造中人因工程的研究聚焦層次 Fig.5 Human factor engineering research focus level

(1)行為層面。行為層面的研究通常對(duì)人根據(jù)系統(tǒng)狀態(tài)表達(dá)出的顯性行為進(jìn)行分析,獲取人的作業(yè)姿勢(shì)、物理行為、習(xí)慣特征等數(shù)據(jù),并借助人機(jī)工效分析方法分析人體的可視性與可達(dá)性,判斷人的生理極限和作業(yè)能力,優(yōu)化作業(yè)流程與作業(yè)空間設(shè)計(jì)。

(2)意圖層面。意圖的研究聚焦為自然意圖的表達(dá)方式,基于人的眼動(dòng)、手部動(dòng)作、肢體運(yùn)動(dòng)等物理行為的特征屬性,通過多模態(tài)特征融合方法,明確操作人員的作業(yè)意圖、目的和期望,并根據(jù)具體作業(yè)意圖的多模態(tài)表達(dá)對(duì)系統(tǒng)做出優(yōu)化和調(diào)整。

(3)認(rèn)知層面。認(rèn)知層面的研究主要集中在人隱性狀態(tài)的表征,例如通過采集操作人員的心電、腦電、皮膚電等多源生理數(shù)據(jù),構(gòu)建人的認(rèn)知狀態(tài)模型和認(rèn)知負(fù)荷量化指標(biāo)等方法,開展對(duì)人的認(rèn)知負(fù)荷、疲勞程度等的量化與評(píng)估。在操作人員都沒有意識(shí)到疲勞或異常狀態(tài)時(shí),實(shí)現(xiàn)系統(tǒng)的主動(dòng)感知與協(xié)調(diào)。

堅(jiān)持以人為中心的理念、遵循系統(tǒng)工程思想和方法、直接面向設(shè)計(jì)和具體應(yīng)用場(chǎng)景是人因工程的另一典型特征。當(dāng)前,以人工智能、混合現(xiàn)實(shí)、云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)等為代表的新技術(shù)與制造業(yè)加速融合,推動(dòng)智能系統(tǒng)向更貼近人的智慧系統(tǒng)改變。影響深遠(yuǎn)的科技革命和產(chǎn)業(yè)變革正在逐步興起,智能制造、智能生產(chǎn)單元、人機(jī)協(xié)同制造等新型生產(chǎn)方式不斷涌現(xiàn),給人因工程的研究環(huán)境帶來了巨大的改變。人因工程的科學(xué)思想、理論方法、設(shè)計(jì)理念和技術(shù)應(yīng)用將推進(jìn)信息化與工業(yè)化的深度融合,推動(dòng)智能裝備、可穿戴智能產(chǎn)品、虛擬信息顯示、增強(qiáng)現(xiàn)實(shí)、人機(jī)交互等技術(shù)快速發(fā)展,實(shí)現(xiàn)人與信息物理系統(tǒng)的有機(jī)結(jié)合,在不斷提升產(chǎn)品品質(zhì)和制造業(yè)核心競(jìng)爭(zhēng)力等方面發(fā)揮重要作用。

除此之外,中國(guó)工程院智能制造課題組的研究報(bào)告[52]指出:“智能制造系統(tǒng)是一個(gè)大概念,一個(gè)不斷演進(jìn)的大系統(tǒng),是新一代信息技術(shù)與先進(jìn)制造技術(shù)的深度融合,貫穿于產(chǎn)品、制造、服務(wù)全生命周期的各個(gè)環(huán)節(jié)及相應(yīng)系統(tǒng)的優(yōu)化集成,不斷提升企業(yè)的產(chǎn)品質(zhì)量、效益、服務(wù)水平,減少資源消耗,推動(dòng)制造業(yè)創(chuàng)新、綠色、協(xié)調(diào)、開放、共享發(fā)展”,是我國(guó)制造業(yè)升級(jí)的發(fā)展方向[53],也與智能制造中的人的因素形成呼應(yīng)。考慮“以人為本”的智能制造,即從“人本智造”的四個(gè)維度出發(fā),在設(shè)計(jì)之初就充分考慮用戶需求和人的因素,根據(jù)消費(fèi)者或目標(biāo)用戶群的定位,利用互聯(lián)網(wǎng)、虛擬現(xiàn)實(shí)、多視角共享等智能技術(shù),使用戶直接參與設(shè)計(jì)、研發(fā)、測(cè)評(píng)等環(huán)節(jié)。針對(duì)生產(chǎn)環(huán)節(jié)的設(shè)計(jì)或工作人員,利用知識(shí)工程、機(jī)器學(xué)習(xí)、自然行為交互等研究成果,開展人機(jī)協(xié)同設(shè)計(jì)、人機(jī)協(xié)作裝配、以人為本的生產(chǎn)管理等研究,全面提升產(chǎn)品設(shè)計(jì)、制造和管理的水平。

因此,如何完成先進(jìn)技術(shù)與人因工程在智能制造系統(tǒng)中的整合是下一步需要解決的問題,形成一套前后端貫通的完整解決方案,從分析人的作業(yè)姿勢(shì)到識(shí)別人的行為意圖、均衡人的認(rèn)知負(fù)荷的一體化智能制造系統(tǒng),充分考慮系統(tǒng)中人的因素,注重人的思維、情感和行為,關(guān)注不同操作人員的需求和意圖,融入人的多樣性和差異性,實(shí)現(xiàn)技術(shù)增強(qiáng)人而非取代人,縮小人機(jī)交互的執(zhí)行鴻溝和評(píng)估鴻溝,真正推動(dòng)“人本智造”理念的實(shí)施與落地。

3

人本智造的發(fā)展趨勢(shì)與研究重點(diǎn)

以人為本的智能制造從人的行為、意圖和認(rèn)知三個(gè)層次,將人因工程整合到虛實(shí)融合、多模態(tài)人機(jī)交互等先進(jìn)技術(shù)中,在原有的智能制造系統(tǒng)基礎(chǔ)上擴(kuò)大人因工程特征,通過人的生物智能與機(jī)器智能、人類用戶認(rèn)知體與機(jī)器認(rèn)知體之間的協(xié)同合作,形成可持續(xù)發(fā)展的人機(jī)智能互補(bǔ)式交互,最大限度地發(fā)揮人機(jī)協(xié)同合作優(yōu)勢(shì)和整體系統(tǒng)績(jī)效。

3.1?/ 虛實(shí)融合環(huán)境下的交互

當(dāng)前,越來越多的虛擬現(xiàn)實(shí)技術(shù)在公共安全、工業(yè)互聯(lián)網(wǎng)、智慧城市、文化旅游等產(chǎn)業(yè)相關(guān)場(chǎng)景落地。國(guó)內(nèi)外工業(yè)領(lǐng)域也在大幅開展虛實(shí)融合技術(shù)研究,通過虛實(shí)數(shù)據(jù)的融合實(shí)現(xiàn)虛實(shí)雙向動(dòng)態(tài)連接,促進(jìn)了信息系統(tǒng)與物理系統(tǒng)的融合發(fā)展,降低人在生產(chǎn)過程中的工作負(fù)荷。

增強(qiáng)現(xiàn)實(shí)技術(shù)(augmented reality, AR)作為將虛擬信息和真實(shí)世界融合的先進(jìn)技術(shù),在跟蹤注冊(cè)、可視化、多模態(tài)交互等技術(shù)領(lǐng)域都有大量研究,將計(jì)算機(jī)生成的虛擬信息添加到真實(shí)世界,實(shí)現(xiàn)兩者的互補(bǔ)和對(duì)真實(shí)世界的“增強(qiáng)”[54]。數(shù)字孿生模型作為典型的虛擬數(shù)字信息,將其疊加至制造業(yè)的真實(shí)物理環(huán)境是目前制造業(yè)實(shí)現(xiàn)虛實(shí)融合的一大研究重點(diǎn)。作為一個(gè)技術(shù)核心,跟蹤注冊(cè)的精度和準(zhǔn)確度與虛實(shí)融合系統(tǒng)的最終效果密不可分。從當(dāng)前真實(shí)空間場(chǎng)景中獲得實(shí)時(shí)數(shù)據(jù),并根據(jù)觀察者的位置、角度、方向、視場(chǎng)等因素構(gòu)建虛擬空間坐標(biāo)系和真實(shí)空間坐標(biāo)系的轉(zhuǎn)換關(guān)系,結(jié)合標(biāo)記物、自然特征信息等,最終將三維模型、動(dòng)畫、文本注釋等虛擬信息完美疊加至真實(shí)環(huán)境,從而提高裝配、運(yùn)維等過程的操作效率。WANG等[55]基于AR協(xié)同環(huán)境、碰撞檢測(cè)、輔助評(píng)估工具等建立了AR裝配工藝方案的評(píng)估系統(tǒng),輔助工人從多個(gè)視角有效評(píng)估和改進(jìn)裝配過程(圖6)。面向某汽車制造企業(yè)線束卡接等手工裝配作業(yè),WANG等[56]設(shè)計(jì)了基于AR的手部作業(yè)檢驗(yàn)軟件,該軟件包括AR測(cè)試場(chǎng)景構(gòu)建、手勢(shì)追蹤與驗(yàn)證、虛擬模型操縱、碰撞檢測(cè)等4個(gè)模塊,可驗(yàn)證操作人員手部的通過性和可達(dá)性,解決了當(dāng)前基于CATIA的人機(jī)仿真模塊驗(yàn)證方法存在的人手定義復(fù)雜度高、真實(shí)性差等問題。

圖6 增強(qiáng)現(xiàn)實(shí)裝配工藝方案評(píng)估系統(tǒng)[55] Fig.6 Augmented reality assembly process evaluation system[55]

面向“人本智造”理念,如何增強(qiáng)人與信息物理的交互,建立人的數(shù)字孿生體來反映人的真實(shí)狀態(tài),從而實(shí)現(xiàn)虛擬信息、真實(shí)環(huán)境與數(shù)字人的智能融合顯得尤為重要。驗(yàn)證人與信息物理系統(tǒng)在協(xié)作生產(chǎn)過程中的安全性也是亟待解決的問題之一[15,17]。

數(shù)字人建模仿真技術(shù)是驗(yàn)證操作人員可達(dá)性,保障人機(jī)協(xié)作過程中的工人安全,建立虛實(shí)融合環(huán)境下智能制造系統(tǒng)可靠安全機(jī)制的主要手段之一[57]。目前的仿真軟件建模方法存在仿真工作量大、操作繁瑣、動(dòng)作連貫性差、對(duì)人體行為建模精確度低等問題,無法對(duì)實(shí)際復(fù)雜產(chǎn)品的操作人因風(fēng)險(xiǎn)進(jìn)行全面驗(yàn)證,專家只能在仿真任務(wù)完成后再對(duì)整個(gè)操作過程進(jìn)行分析,工作周期長(zhǎng)、生產(chǎn)成本高。通過動(dòng)作捕捉設(shè)備、眼動(dòng)儀等設(shè)備和人因分析方法,實(shí)時(shí)采集人的行為、生理、心理等相關(guān)數(shù)據(jù),建立人的數(shù)字孿生體,實(shí)時(shí)生成高保真數(shù)字人模型,反映人在虛實(shí)融合環(huán)境下的狀態(tài),保證對(duì)作業(yè)人員行為的高精度建模,提高人因分析準(zhǔn)確度,專家可以在人體數(shù)據(jù)輸出的同時(shí)進(jìn)行動(dòng)態(tài)分析作業(yè),實(shí)時(shí)更改產(chǎn)品設(shè)計(jì),不需要在產(chǎn)品生產(chǎn)后再次試驗(yàn)調(diào)整設(shè)計(jì),從而起到縮短產(chǎn)品生產(chǎn)周期的作用。研究人-信息-物理系統(tǒng)的感知機(jī)制是實(shí)現(xiàn)以人為本的智能制造的關(guān)鍵點(diǎn)。文獻(xiàn)[58-59]針對(duì)某人因分析方法存在的分析周期長(zhǎng)、仿真建模工作量大、虛擬人動(dòng)作精度低等問題,開展了面向工業(yè)車間座椅裝配、手工涂膠作業(yè)任務(wù)的人機(jī)功效分析,驗(yàn)證并評(píng)估手工裝配過程的工人操作可達(dá)性及安全風(fēng)險(xiǎn)性,提出一種基于AR的汽車總裝體力疲勞綜合評(píng)估方法(圖7),借助AR技術(shù)搭建汽車總裝典型場(chǎng)景,實(shí)現(xiàn)虛實(shí)融合場(chǎng)景的可視化、產(chǎn)品分析師和設(shè)計(jì)師多人視角共享及協(xié)同在線操作;利用動(dòng)作捕捉系統(tǒng)真實(shí)準(zhǔn)確地反映人體運(yùn)動(dòng)姿態(tài),實(shí)時(shí)捕捉人體運(yùn)動(dòng)學(xué)數(shù)據(jù),完成體力疲勞度評(píng)估與分析。

圖7 基于增強(qiáng)現(xiàn)實(shí)和動(dòng)作捕捉設(shè)備的人因分析系統(tǒng)[58-59] Fig.7 Human factor analysis system based on augmented reality and motion capture equipment[58-59]

人機(jī)結(jié)合、虛實(shí)融合是新一代智能制造系統(tǒng)的顯著特征,通過增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)的頭戴式設(shè)備幫助工作人員接入制造系統(tǒng)的數(shù)字孿生系統(tǒng),從而“身臨其境”地全方位感知系統(tǒng)狀態(tài);在裝配、運(yùn)維過程中增強(qiáng)信息的智能呈現(xiàn),以便于操作人員理解,降低操作負(fù)荷,減小人機(jī)交互執(zhí)行鴻溝[60]。利用動(dòng)作捕捉設(shè)備采集人體行為數(shù)據(jù),實(shí)現(xiàn)動(dòng)態(tài)人機(jī)工程的仿真驗(yàn)證與分析,為實(shí)時(shí)感知系統(tǒng)狀態(tài)、完成動(dòng)態(tài)調(diào)整提供了便捷,同時(shí)也滿足了智能制造柔性可變、快速響應(yīng)的需求。隨著數(shù)字化信息技術(shù)與增強(qiáng)現(xiàn)實(shí)輔助技術(shù)的廣泛應(yīng)用,研究虛擬數(shù)字信息與真實(shí)物理場(chǎng)景融合環(huán)境下的人與數(shù)字化信息交互的工業(yè)現(xiàn)場(chǎng)(圖8)已成為未來工業(yè)發(fā)展的新趨勢(shì)。

圖8 HCPS中的虛實(shí)融合技術(shù) Fig.8 Virtual-reality fusion technology in HCPS

3.2?/ 多模態(tài)意圖識(shí)別

智能制造系統(tǒng)中,人機(jī)角色發(fā)生轉(zhuǎn)變,工作人員的活動(dòng)范圍更加靈活多變,對(duì)系統(tǒng)的控制及作業(yè)意圖的表達(dá)方式也不再局限于命令行、圖形界面、鼠標(biāo)和鍵盤等利用輔助設(shè)備進(jìn)行的人機(jī)交互。自然用戶界面(natural user interface,NUI)[61]提倡用戶不需要學(xué)習(xí),憑借感知器官與經(jīng)驗(yàn)來接收信息,利用自然行為表達(dá)作業(yè)意圖,降低了用戶的操作和學(xué)習(xí)成本,從而縮小人機(jī)交互的執(zhí)行鴻溝。交互發(fā)生在三維的物理空間中時(shí),智能制造系統(tǒng)現(xiàn)場(chǎng)任務(wù)及環(huán)境的動(dòng)態(tài)變化會(huì)導(dǎo)致同樣的輸入代表不同的語義,因此需要考慮作業(yè)任務(wù)與環(huán)境的實(shí)時(shí)動(dòng)態(tài)變化來準(zhǔn)確識(shí)別操作人員的作業(yè)意圖。隨著增強(qiáng)現(xiàn)實(shí)、人工智能、機(jī)器視覺等新型技術(shù)的迅猛發(fā)展,以及交互環(huán)境的變化,傳統(tǒng)的交互方式不再滿足智能制造的發(fā)展需求,這使得新型人機(jī)交互模式逐漸涌現(xiàn),依托以眼動(dòng)、手勢(shì)、語音等多模態(tài)生理信號(hào)為核心的自然交互模式成為未來助力智能工廠人機(jī)協(xié)作能力提升的新方向。

現(xiàn)有較為成熟的交互方式有語音交互、手勢(shì)控制、觸覺交互、眨眼檢測(cè)及眼跟蹤技術(shù)等。在人類感知信息途徑中,通過視覺獲取對(duì)外信息的比例高達(dá)83%,大大超過其他感知覺。相對(duì)于手控、語音等方式,視覺交互縮短了中央加工與動(dòng)作執(zhí)行的反應(yīng)時(shí)間,可實(shí)現(xiàn)多任務(wù)同步處理,且受環(huán)境影響較小。但眼動(dòng)信號(hào)中的認(rèn)知成分較少,無法判斷注視行為屬于無意識(shí)還是有意識(shí)即發(fā)生“米達(dá)斯接觸”問題,因此通常采用增加視覺反饋體系、反復(fù)定位確認(rèn)與交互,以及外界信號(hào)觸發(fā)輔助等解決方法[62-63],但這都給眼部帶來了額外的負(fù)擔(dān)與勞累,加劇視疲勞的產(chǎn)生,造成用戶體驗(yàn)下降。如何在有效解決“米達(dá)斯接觸”問題的同時(shí)避免疲勞是目前視覺交互技術(shù)研究的重點(diǎn)。多模態(tài)交互方式充分利用各模態(tài)間的優(yōu)勢(shì)互補(bǔ),融合多種模式的綜合語義輔助視覺通道,精準(zhǔn)定位目標(biāo)、準(zhǔn)確識(shí)別意圖,對(duì)縮短定位時(shí)間、減緩視覺疲勞有著重要作用。相比于基于單一模態(tài)數(shù)據(jù)的交互方式,基于多模態(tài)融合交互方式的空間覆蓋率、時(shí)間覆蓋率和決策準(zhǔn)確度更高,可以有效進(jìn)行信息互補(bǔ),多方面描述數(shù)據(jù)對(duì)象特性,成為復(fù)雜作業(yè)環(huán)境下實(shí)現(xiàn)人機(jī)交互意圖感知的有效途徑[64-65]。

虛實(shí)環(huán)境與多模態(tài)人機(jī)交互技術(shù)的結(jié)合為實(shí)現(xiàn)智能化生產(chǎn)車間的智能人機(jī)融合提供了技術(shù)路徑。微軟發(fā)布的HoloLen2增強(qiáng)現(xiàn)實(shí)頭戴式設(shè)備支持手勢(shì)、語音、眼動(dòng)等交互方式,通過示教系統(tǒng)可用于復(fù)雜產(chǎn)品生產(chǎn)車間,輔助員工完成裝配培訓(xùn),并看使用Dynamic 365 Layout驗(yàn)證生產(chǎn)布局[66]。目前,針對(duì)人與虛擬信息的自然交互方式的研究還不成熟,在利用增強(qiáng)現(xiàn)實(shí)設(shè)備完成操作的過程中,出現(xiàn)了許多人因問題。由于用戶體驗(yàn)的差異性和多樣性,以及用戶認(rèn)知能力的不同,當(dāng)前的技術(shù)及相關(guān)產(chǎn)品無法以人們所習(xí)慣的方式與人們進(jìn)行信息交流、提供主動(dòng)服務(wù),不能滿足人機(jī)交互系統(tǒng)個(gè)性化、柔性化的要求。為提升用戶體驗(yàn),將多模態(tài)自然交互與用戶畫像相結(jié)合,深度挖掘用戶的需求和意圖,真正實(shí)現(xiàn)用戶行為的個(gè)性化識(shí)別和理解,縮小人機(jī)交互的評(píng)估鴻溝,促進(jìn)“以人為本”的智能制造發(fā)展。FANG等[67]面向制造業(yè)裝配場(chǎng)景,將增強(qiáng)現(xiàn)實(shí)作為媒介連接人和機(jī)器人,實(shí)現(xiàn)人機(jī)的多模態(tài)交互,并基于該系統(tǒng),提出一種增強(qiáng)現(xiàn)實(shí)環(huán)境下的個(gè)性化人機(jī)協(xié)作裝配意圖識(shí)別方法(圖9),針對(duì)用戶在典型人機(jī)協(xié)作裝配過程的物理行為習(xí)慣及特征,以單個(gè)用戶為中心采集多維度、強(qiáng)相關(guān)的數(shù)據(jù),構(gòu)建用戶畫像模型,構(gòu)建基于用戶行為習(xí)慣的多模態(tài)特征融合方法模型,并對(duì)增強(qiáng)現(xiàn)實(shí)環(huán)境下的習(xí)慣手勢(shì)、語音和視覺等物理行為進(jìn)行識(shí)別,利用基于改進(jìn)HMM和貝葉斯融合的決策層融合方法,實(shí)現(xiàn)面向不同用戶的個(gè)性化意圖識(shí)別,為用戶提供更精準(zhǔn)的個(gè)性化服務(wù),有效改善人機(jī)協(xié)作過程中的用戶體驗(yàn)。

3.3?/ 科學(xué)的認(rèn)知量化方法

面對(duì)以智能制造為核心的產(chǎn)業(yè)和科技變革,制造企業(yè)應(yīng)積極采取行動(dòng),推動(dòng)轉(zhuǎn)型升級(jí),提高自動(dòng)化、數(shù)字化水平。現(xiàn)階段,我國(guó)制造業(yè)仍存在自動(dòng)化水平不高、手工依賴程度高的問題,工人面臨的操作任務(wù)愈發(fā)繁重。復(fù)雜的機(jī)電系統(tǒng)和長(zhǎng)時(shí)間的人機(jī)協(xié)同作業(yè)容易對(duì)操作人員產(chǎn)生巨大的認(rèn)知負(fù)荷。因此,形成對(duì)認(rèn)知負(fù)荷的準(zhǔn)確量化和有效均衡是保障人機(jī)協(xié)同安全穩(wěn)定的關(guān)鍵。

操作人員面對(duì)復(fù)雜系統(tǒng)時(shí)的主要任務(wù)是“信息獲取-判斷-決策-響應(yīng)”過程,屬于掌控系統(tǒng)運(yùn)行狀態(tài)的腦力活動(dòng),因此人機(jī)協(xié)同作業(yè)時(shí)的工作負(fù)荷主要表現(xiàn)為認(rèn)知負(fù)荷。徐小萍等[68]提出了基于認(rèn)知的虛擬現(xiàn)實(shí)人機(jī)交互系統(tǒng)框架,并開展了交互通道與認(rèn)知負(fù)荷的影響機(jī)制研究。認(rèn)知負(fù)荷反映同時(shí)施加在工作記憶中所有智力活動(dòng)的數(shù)量,任何認(rèn)知加工活動(dòng)均需消耗認(rèn)知資源。不同交互通道帶來的認(rèn)知負(fù)荷不同,如果在同一時(shí)間多任務(wù)并行處理產(chǎn)生的認(rèn)知負(fù)荷超過個(gè)體所擁有的認(rèn)知資源總量,將導(dǎo)致認(rèn)知負(fù)荷超載,直接影響操作者的任務(wù)績(jī)效;另一方面,過低的任務(wù)需求通常會(huì)造成操作者參與不足,即認(rèn)知負(fù)荷欠載,容易出現(xiàn)疲勞與自滿情緒,此時(shí)任務(wù)需求的突然增加、突發(fā)意外等情況會(huì)使操作者迅速進(jìn)入高度緊張狀態(tài),影響操作者做出正確決策[69],即操作者表現(xiàn)與腦力負(fù)荷及大腦認(rèn)知資源供需的倒U型關(guān)系模型[18]。因此,控制認(rèn)知負(fù)荷的均衡可以有效提高人機(jī)協(xié)作效率。劉文等[70]分析了指揮控制系統(tǒng)界面認(rèn)知負(fù)荷的來源及類型特點(diǎn),形成了面向指揮控制系統(tǒng)界面認(rèn)知負(fù)荷的均衡策略,主要包括圖像復(fù)雜度控制、用戶需求信息合理呈現(xiàn)、信息編碼與視覺搜尋匹配等。繆相林等[71]提出一種動(dòng)態(tài)調(diào)整用戶認(rèn)知負(fù)荷水平的智能空間增強(qiáng)現(xiàn)實(shí)系統(tǒng),根據(jù)用戶認(rèn)知狀態(tài)動(dòng)態(tài)調(diào)整空間增強(qiáng)現(xiàn)實(shí)系統(tǒng)的增強(qiáng)信息,使用戶處于最佳工作狀態(tài),提高工作效率,保證工作質(zhì)量。因此,從面向用戶認(rèn)知的生理信息融合角度出發(fā),構(gòu)建認(rèn)知負(fù)荷定量表達(dá)模型是完善人機(jī)協(xié)同系統(tǒng)、提高態(tài)勢(shì)感知、實(shí)現(xiàn)正確決策的重點(diǎn)。

人機(jī)協(xié)同認(rèn)知負(fù)荷評(píng)估與均衡問題可從“科學(xué)評(píng)價(jià)、準(zhǔn)確量化、有效均衡”三方面開展研究。通過生理參數(shù)的動(dòng)態(tài)表征揭示操作人員認(rèn)知負(fù)荷的演變機(jī)理,是神經(jīng)生理學(xué)和認(rèn)知心理學(xué)領(lǐng)域具有挑戰(zhàn)性的科學(xué)難題。在多通道交互的情況下,生理指標(biāo)的變化易受交互通道的選擇影響。同時(shí),認(rèn)知負(fù)荷水平的不確定性、抽象性、經(jīng)驗(yàn)依賴性、個(gè)體差異性、學(xué)習(xí)遷移效應(yīng)等特征導(dǎo)致以生理參數(shù)量化描述認(rèn)知負(fù)荷水平的變化存在技術(shù)難度。腦電、心電、肌肉電等多源生理信號(hào)的有效融合極大依賴操作任務(wù)與認(rèn)知數(shù)據(jù),復(fù)雜作業(yè)任務(wù)產(chǎn)生大量認(rèn)知活動(dòng)及決策行為數(shù)據(jù),同時(shí)伴隨認(rèn)知行為時(shí)序關(guān)聯(lián)、認(rèn)知負(fù)荷的隱式干擾、認(rèn)知狀態(tài)和變化順序等多層級(jí)耦合關(guān)系。由于生理參數(shù)敏感度不同、難以同步、存在競(jìng)爭(zhēng)與互補(bǔ)效應(yīng)等問題,要從中提取不同生理信號(hào)與認(rèn)知行為相對(duì)關(guān)系,結(jié)構(gòu)化學(xué)習(xí)信號(hào)特征,融合不同維度信號(hào)來反映增強(qiáng)現(xiàn)實(shí)環(huán)境下多通道交互過程中的認(rèn)知負(fù)荷動(dòng)態(tài)變化面臨較大難度。人機(jī)協(xié)同運(yùn)維過程中,“人在回路”的行為決策是在人內(nèi)部認(rèn)知空間與外部環(huán)境元素的共同作用下產(chǎn)生的,是環(huán)境信息要素與認(rèn)知負(fù)荷的樞紐。揭示人機(jī)協(xié)同過程中的態(tài)勢(shì)元素、個(gè)體認(rèn)知負(fù)荷、行為決策的關(guān)聯(lián)關(guān)系,是對(duì)認(rèn)知負(fù)荷有效均衡的關(guān)鍵,對(duì)降低認(rèn)知任務(wù)的復(fù)雜性及難度、提高人機(jī)協(xié)同的作業(yè)績(jī)效至關(guān)重要。

因此,明確主體多生理指標(biāo)的認(rèn)知負(fù)荷誘發(fā)策略與演變機(jī)理并對(duì)其進(jìn)行科學(xué)量化表達(dá),是揭示認(rèn)知負(fù)荷水平變化的關(guān)鍵;建立相應(yīng)的人機(jī)協(xié)同認(rèn)知負(fù)荷均衡機(jī)制,從而降低認(rèn)知任務(wù)的復(fù)雜性,提高人機(jī)系統(tǒng)的作業(yè)績(jī)效。這對(duì)在新環(huán)境、新技術(shù)、新模式下開展人因工程相關(guān)研究,縮小人機(jī)交互鴻溝,推動(dòng)人本智造的發(fā)展有著實(shí)際性的作用。

4

發(fā)展與建議

4.1?/ 學(xué)科發(fā)展

智能制造作為典型的系統(tǒng)工程,強(qiáng)調(diào)數(shù)字化智能設(shè)備、機(jī)器人、物聯(lián)網(wǎng)、人工智能等關(guān)鍵技術(shù)在制造系統(tǒng)中的集成,涉及機(jī)械工程、控制科學(xué)與工程、計(jì)算機(jī)科學(xué)與技術(shù)等多個(gè)學(xué)科。面向世界范圍的科技革命和產(chǎn)業(yè)變革,針對(duì)中國(guó)制造的發(fā)展需求,順應(yīng)“兩化融合”國(guó)家戰(zhàn)略,國(guó)內(nèi)多所高校相繼設(shè)立了智能制造工程等“新工科”專業(yè)。與此同時(shí),國(guó)家自然科學(xué)基金委在2020年成立了交叉科學(xué)部,明確了強(qiáng)化學(xué)科交叉和尋求新的科研范式是未來科技快速發(fā)展的必由之路。人因工程作為典型的交叉學(xué)科,被列為交叉學(xué)部的重點(diǎn)研究方向之一。

在“新工科”專業(yè)與交叉學(xué)部的建設(shè)支持下,加強(qiáng)人才儲(chǔ)備和梯隊(duì)建設(shè),注重對(duì)智能制造專業(yè)人才進(jìn)行人因工程等相關(guān)知識(shí)的教育。以人因工程的基礎(chǔ)理論與研究方法充分武裝掌握現(xiàn)代化機(jī)械、電子、智能生產(chǎn)與管理的專業(yè)知識(shí)和技能的智能制造專業(yè)人才,把人因融入系統(tǒng)設(shè)計(jì)、研制與運(yùn)維等不同周期,解決智能制造發(fā)展過程中各個(gè)相關(guān)領(lǐng)域出現(xiàn)的典型人因問題。積極開展跨學(xué)科探索性研究,推動(dòng)機(jī)械工程與認(rèn)知科學(xué)、信息科學(xué)、心理學(xué)等相關(guān)學(xué)科的交叉融合,促進(jìn)傳統(tǒng)學(xué)科與新型學(xué)科的交叉融合,為面向智能制造的人機(jī)交互與人因工程持續(xù)發(fā)展與深度應(yīng)用提供強(qiáng)大的科學(xué)儲(chǔ)備。

4.2?/ 研究方向

面對(duì)智能制造人機(jī)交互與人因工程的發(fā)展需求,從研究現(xiàn)狀看,在行為、意圖、認(rèn)知三個(gè)層面解決HCPS的人與信息系統(tǒng)、物理系統(tǒng)之間的鴻溝問題,是未來智能制造中的人因工程需要著重探索的研究方向,這包括人與智能設(shè)備的交互、人-信息-物理三元虛實(shí)融合感知、量化的科學(xué)標(biāo)準(zhǔn)等方面。

(1)開展人與智能設(shè)備的交互友好性研究,重視智能設(shè)備在設(shè)計(jì)及信息呈現(xiàn)、行為反饋上的宜人性表達(dá),實(shí)現(xiàn)智能設(shè)備與人的良性互動(dòng),解決智能制造系統(tǒng)中大量的智能設(shè)備給人的操作和認(rèn)知帶來的不可避免的壓力問題,保障人對(duì)系統(tǒng)的準(zhǔn)確態(tài)勢(shì)感知。

(2)實(shí)際生產(chǎn)場(chǎng)景、操作人員行為及產(chǎn)品虛擬模型之間的虛實(shí)融合感知機(jī)制是未來需要解決的關(guān)鍵科學(xué)問題。由于虛擬產(chǎn)品模型、實(shí)際生產(chǎn)現(xiàn)場(chǎng)與真實(shí)操作人員的物理屬性不同,導(dǎo)致虛擬世界與真實(shí)世界融合困難。此外,目前的增強(qiáng)現(xiàn)實(shí)技術(shù)僅支持虛擬信息的顯示與疊加,缺少實(shí)際的交互感知。因此,對(duì)虛擬世界與真實(shí)世界的智能標(biāo)定與個(gè)性化交互方法展開研究:①研究產(chǎn)品的智能推送,建立輔助維修資源庫(kù),實(shí)現(xiàn)從IETM的交互式維修手冊(cè)到AR手冊(cè)的智能化生成;②融合用戶畫像,通過意圖識(shí)別,構(gòu)建符合操作人員個(gè)性化特征的智能推送方法,將人的需求作為信息推送的驅(qū)動(dòng)力,滿足操作人員的屬性多樣性及個(gè)性化需求;③分析人在使用AR系統(tǒng)時(shí)的認(rèn)知負(fù)荷產(chǎn)生原因,結(jié)合腦電、眼動(dòng)、手勢(shì)等多模態(tài)交互方式,提取人的潛意識(shí)形態(tài),智能化為用戶提供最舒適便捷的操作環(huán)境及方式,有效降低疲勞度和操作負(fù)荷,研究虛實(shí)信息的柔性化融合機(jī)理,從而實(shí)現(xiàn)人-信息-物理三元虛實(shí)融合。

(3)建立完善的人因工程研究規(guī)范與測(cè)評(píng)技術(shù),形成量化的科學(xué)標(biāo)準(zhǔn),將定性問題轉(zhuǎn)化為可參考的定量指標(biāo),形成主客觀結(jié)合、定性定量綜合集成的人因評(píng)價(jià)標(biāo)準(zhǔn),以解決人作為人因工程的主要研究對(duì)象,在面對(duì)不同作業(yè)需求、新型系統(tǒng)和復(fù)雜問題時(shí)產(chǎn)生的心理變化、認(rèn)知思考和決策執(zhí)行能力存在多樣性及差異性的問題。

表2列舉的國(guó)際期刊中,多數(shù)已發(fā)布面向智能制造或工業(yè)4.0的人因工程特刊,以鼓勵(lì)相關(guān)研究。

↓ 表2 國(guó)際關(guān)注智能制造及人因工程領(lǐng)域期刊 Tab.2 The list of journals in related domains

5

結(jié)論

本文立足于智能制造發(fā)展過程中存在的實(shí)際問題，基于人-信息-物理系統(tǒng)理論與技術(shù)體系，討論了人機(jī)協(xié)同的必要性，以及人在智能制造系統(tǒng)中發(fā)揮的重要作用,梳理了人因工程在促進(jìn)人本智造中的相關(guān)研究重點(diǎn)，針對(duì)學(xué)科發(fā)展與主要研究方向,提出了智能制造系統(tǒng)中人因工程的發(fā)展與建議，以期為我國(guó)新一代智能制造系統(tǒng)的發(fā)展提供建議與參考。

編輯：黃飛