RoboCup 仿真比賽提供了一個(gè)完全分布式控制、實(shí)時(shí)異步多智能體的環(huán)境，通過這個(gè)平臺(tái)，可以測試各種理論、算法和 A－ gent 體系結(jié)構(gòu)，在實(shí)時(shí)異步、有噪聲的對抗環(huán)境下，研究多智能體之間的合作和對抗問題。仿真比賽在一個(gè)標(biāo)準(zhǔn)的計(jì)算機(jī)環(huán)境內(nèi)進(jìn)行，采用 Client/Server 方式，參賽隊(duì)伍編寫各自的客戶端程序，模擬實(shí)際足球隊(duì)員進(jìn)行比賽。在 RoboCup 足球機(jī)器人仿真中使用強(qiáng)化學(xué)習(xí)算法必須克服幾個(gè)問題，如：多維連續(xù)的狀態(tài)空間、噪聲的影響、多智能體以及需要實(shí)時(shí)的動(dòng)作。在過去的一段時(shí)間內(nèi)，機(jī)器學(xué)習(xí)已經(jīng)被應(yīng)用在 RoboCup 的許多的子任務(wù)中。本文提出了將 SARSA 算法應(yīng)用在多智能體（4V3）的帶球的任務(wù)中，經(jīng)過一段時(shí)間的學(xué)習(xí)之后， 取得了理想的效果。

　　強(qiáng)化學(xué)習(xí)也叫激勵(lì)學(xué)習(xí)、評價(jià)學(xué)習(xí)，它是智能體不斷的試探和學(xué)習(xí)的過程，通過這種試探來使系統(tǒng)行為從環(huán)境中獲得的累積獎(jiǎng)賞值最大。其基本的模型如圖 1 所示。在強(qiáng)化學(xué)習(xí)中，設(shè)計(jì)算法的原則就是把外界環(huán)境轉(zhuǎn)化為最大獎(jiǎng)勵(lì)量的方式的動(dòng)作。智能體并沒有被告訴要做什么或者采取哪個(gè)動(dòng)作，而是通過看哪個(gè)動(dòng)作得到了最多的獎(jiǎng)勵(lì)來自己發(fā)現(xiàn)。智能體的動(dòng)作的影響不只是立即得到的獎(jiǎng)勵(lì)，而且還影響接下來的動(dòng)作和最終的獎(jiǎng)勵(lì)。在強(qiáng)化學(xué)習(xí)中，環(huán)境處于狀態(tài)集合 S 中的某一狀態(tài) s，Agent 選擇動(dòng)作集合 A 中的一個(gè)動(dòng)作 a， 動(dòng)作 a 作用于環(huán)境后會(huì)接收到一個(gè)即時(shí)獎(jiǎng)賞 r，若 r 大于 0，則智能體以后產(chǎn)生這個(gè)動(dòng)作的趨勢就會(huì)加強(qiáng);反之，智能體產(chǎn)生這個(gè)動(dòng)作的趨勢就會(huì)減弱。在學(xué)習(xí)系統(tǒng)的控制行為與環(huán)境反饋的狀態(tài)及評價(jià)的反復(fù)的相互作用中，以學(xué)習(xí)的方式不斷修改從狀態(tài)到動(dòng)作的映射策略，以達(dá)到優(yōu)化系統(tǒng)性能目的。