多點(diǎn)觸摸技術(shù)就是指允許用戶同時(shí)通過(guò)多個(gè)手指來(lái)控制圖形界面的一種技術(shù)，能構(gòu)成一個(gè)觸摸屏（屏幕，桌面，墻壁等）或觸控板，同時(shí)接受來(lái)自屏幕上多個(gè)點(diǎn)進(jìn)行計(jì)算機(jī)的人機(jī)交互操作。與多點(diǎn)觸摸技術(shù)相對(duì)應(yīng)的當(dāng)然就是單點(diǎn)觸摸，單點(diǎn)觸摸設(shè)備已經(jīng)有很多的年頭了，最早起源于20世紀(jì)70年代，小尺寸的有觸摸式手機(jī)，大尺寸最常見的就是銀行里的ATM機(jī)和排隊(duì)查詢機(jī)。

而蘋果公司在iPhone上采用感應(yīng)電容式觸摸屏，讓用戶與設(shè)備的互動(dòng)不在局限于一根手指，為互動(dòng)觸摸用戶界面革命做出了不可估量的貢獻(xiàn)。很多人以為多點(diǎn)觸摸僅限于放大縮小功能。其實(shí)，放大縮小只是多點(diǎn)觸摸的實(shí)際應(yīng)用樣例之一。有了多點(diǎn)觸摸技術(shù)，怎么應(yīng)用就可以通過(guò)無(wú)限想象來(lái)無(wú)限擴(kuò)展。程序員可以把多點(diǎn)觸摸應(yīng)用到很多方面，從一定程度上改變或者創(chuàng)新出更多的操作方式來(lái)。

就電子產(chǎn)品，特別是消費(fèi)類產(chǎn)品而言，如何將用戶復(fù)雜的控制動(dòng)作轉(zhuǎn)變?yōu)橹庇^、便捷且可生產(chǎn)的體驗(yàn)，是用戶界面設(shè)計(jì)面臨的終極挑戰(zhàn)。用戶界面設(shè)計(jì)一方面要考慮到用戶視覺(jué)、聽覺(jué)、味覺(jué)、嗅覺(jué)和觸覺(jué)等五種感官的需求，另一方面還要考慮到用戶需求對(duì)器件或系統(tǒng)的影響。目前市場(chǎng)上推出的大部分產(chǎn)品雖然有效，但主要都是將用戶的視覺(jué)和觸覺(jué)分開來(lái)處理。從計(jì)算機(jī)鍵盤、手機(jī)鍵盤、MP3播放器、家用電器甚至電視遙控器等上面的簡(jiǎn)單按鈕或按鍵，到音量調(diào)節(jié)滑條、滾輪和跟蹤板等上面更高級(jí)的單擊和滾動(dòng)特性，輸出位置（也就是用戶的輸入或操控動(dòng)作的結(jié)果）與用戶的輸入位置是截然不同的。而這種視覺(jué)和觸覺(jué)的一致性正是觸摸屏的基本優(yōu)勢(shì)所在。讓視覺(jué)和觸覺(jué)完全達(dá)到一致說(shuō)起來(lái)簡(jiǎn)單，但做起來(lái)則不啻為一場(chǎng)意義深遠(yuǎn)的技術(shù)突破，其將徹底改變用戶與電子產(chǎn)品互動(dòng)的方式，因此有人將此稱為用戶界面的革命。

簡(jiǎn)述單點(diǎn)觸摸、點(diǎn)觸摸、多點(diǎn)觸摸的關(guān)系與區(qū)別

單點(diǎn)觸摸屏

觸摸屏的功能發(fā)展由簡(jiǎn)及繁，最初的產(chǎn)品只支持最簡(jiǎn)單的操控，就是一個(gè)手指觸摸屏幕上的一點(diǎn)來(lái)實(shí)現(xiàn)操控。比如我們每天在附件超市的POS終端機(jī)，或者在機(jī)場(chǎng)的check-in終端上進(jìn)行的操作。以前，我們只能通過(guò)屏幕周邊的機(jī)械按鈕進(jìn)行操控，單點(diǎn)觸摸屏在此基礎(chǔ)上實(shí)現(xiàn)了用戶界面方面的一大進(jìn)步。當(dāng)然，機(jī)械和新型電容式觸摸感應(yīng)按鈕在我們的家庭、辦公室及其他地方無(wú)所不在：手機(jī)、固定電話、遙控器、電視、電腦及其各種外設(shè)、游戲機(jī)、電冰箱、微波爐、烤箱，以及無(wú)線電和空調(diào)等車內(nèi)電子控制設(shè)備等等。現(xiàn)在，如下列圖所示的單點(diǎn)觸摸屏在顯示屏上直接集成了用戶控制界面，因此再也不需要傳統(tǒng)的機(jī)械按鈕了。

這種屏幕為用戶界面帶來(lái)兩大好處：一是設(shè)備設(shè)計(jì)空間得到優(yōu)化，特別有利于小型設(shè)備，因其能在同一區(qū)域內(nèi)同時(shí)“安裝”屏幕和按鈕；二是由于按鈕能綁定于操作系統(tǒng)中的任意應(yīng)用，所以設(shè)備使用的“按鈕”可以達(dá)到無(wú)限多個(gè)。

上述功能主要建立在電阻式觸摸屏技術(shù)基礎(chǔ)之上，在消費(fèi)電子產(chǎn)品、機(jī)場(chǎng)報(bào)刊亭、食品雜貨店P(guān)OS終端和車載GPS系統(tǒng)等各種應(yīng)用中都得到了廣泛推廣。

點(diǎn)觸摸屏

盡管單點(diǎn)觸摸屏和電阻式觸摸屏技術(shù)很令人吃驚并頗具革命意義，但其還是有兩大缺點(diǎn)，一是電阻式技術(shù)依賴于觸摸屏的物理運(yùn)動(dòng)，盡管影響不大，但經(jīng)過(guò)正常的磨損老化后，性能就會(huì)下降；二是這種技術(shù)只支持單點(diǎn)觸摸，也就是一次只能用一個(gè)手指在屏幕的某個(gè)區(qū)域做單一動(dòng)作。

為什么用戶與設(shè)備的互動(dòng)只能局限于一根手指呢？蘋果公司為用戶界面革命做出了不可估量的貢獻(xiàn)，其推出的iPhone采用了感應(yīng)電容式觸摸屏。即使在智能電話等小型化設(shè)備中，要想充分發(fā)揮應(yīng)用和操作系統(tǒng)的功能，也需要多個(gè)手指才能實(shí)現(xiàn)最佳的可用性。因?yàn)橛辛颂O果公司，用戶現(xiàn)在已經(jīng)很難設(shè)想過(guò)去是怎么在不支持兩個(gè)手指的手勢(shì)動(dòng)作的情況下，完成諸如下列圖所示的照片縮放，以及相冊(cè)、網(wǎng)頁(yè)視圖的方位改變等相關(guān)操作的。

其他技術(shù)革新者正在多種設(shè)備系統(tǒng)上繼續(xù)沿用這種多點(diǎn)觸摸技術(shù)，其中包括GoogleG-1和BlackberryStorm智能電話、MacBookPro和惠普touchsmart臺(tái)式機(jī)和筆記本電腦、便攜式媒體播放器以及其他多種應(yīng)用等。

多點(diǎn)觸摸屏

與單點(diǎn)觸摸屏一樣，識(shí)別手指方向的多點(diǎn)觸摸屏也有一個(gè)局限，就是該技術(shù)能在屏幕上同時(shí)識(shí)別的操作點(diǎn)數(shù)量有限。為什么一次只能識(shí)別兩個(gè)操作點(diǎn)呢？用戶的兩只手有十個(gè)手指，當(dāng)用戶之間彼此互動(dòng)時(shí)，屏幕上會(huì)出現(xiàn)更多的手指。這就是識(shí)別手指位置的多點(diǎn)觸摸概念的由來(lái)，它可以實(shí)現(xiàn)兩個(gè)手指以上的操控。

Cypress將此技術(shù)稱為“多點(diǎn)觸控全區(qū)輸入”，它進(jìn)一步提升了觸摸屏可靠的可用性，能滿足多種特性豐富的應(yīng)用需求。可靠性是指我們能以最高粒度準(zhǔn)確捕獲到屏幕上所有觸點(diǎn)的原始數(shù)據(jù)，盡可能減少屏幕觸點(diǎn)定位不準(zhǔn)帶來(lái)的混亂問(wèn)題的能力?？捎眯允侵副姸喙δ軓?qiáng)大的應(yīng)用可在不同大小的屏幕上受益于雙手或兩個(gè)手指以上的屏幕操控的能力。3D互動(dòng)游戲、鍵盤輸入和地圖操作等都是使用這種觸摸屏功能的一些主要對(duì)象。

從根本上來(lái)講，多點(diǎn)觸控全區(qū)輸入技術(shù)為設(shè)備和系統(tǒng)OEM廠商提供了唾手可得的所有觸摸數(shù)據(jù)，幫助他們發(fā)揮創(chuàng)造性，以開發(fā)下一代新型實(shí)用的技術(shù)。

賽普拉斯半導(dǎo)體公司推出的TrueTouch觸摸屏解決方案就是多點(diǎn)觸控全區(qū)輸入的一個(gè)應(yīng)用實(shí)例。TrueTouch采用了賽普拉斯PSoC可編程片上系統(tǒng)架構(gòu)，該架構(gòu)集成了帶有可編程模擬和數(shù)字塊的8位微控制器?？蓪?shí)現(xiàn)無(wú)與倫比的靈活性和可配置性。TrueTouch解決方案的感應(yīng)式電容觸摸屏控制器能擴(kuò)展支持各種尺寸的屏幕，可靈活支持單點(diǎn)觸摸、識(shí)別手指方向的多點(diǎn)觸摸和識(shí)別手指位置的多點(diǎn)觸摸技術(shù)。TrueTouch可高度集成外部元件，而且特別適合與各種觸摸屏感應(yīng)器或LCD顯示屏協(xié)同工作。靈活的PSoC架構(gòu)使設(shè)計(jì)人員能夠在產(chǎn)品設(shè)計(jì)的最后階段方便地進(jìn)行修改，而這是其他觸摸屏產(chǎn)品無(wú)法做到的。

多點(diǎn)觸控（Multi-Touch）屏幕技術(shù)發(fā)展歷史

多點(diǎn)觸控技術(shù)始于1982年由多倫多大學(xué)發(fā)明的感應(yīng)食指指壓的多點(diǎn)觸控屏幕。同年貝爾實(shí)驗(yàn)室發(fā)表了首份探討觸控技術(shù)的學(xué)術(shù)文獻(xiàn)。

1984年，貝爾實(shí)驗(yàn)室研制出一種能夠以多于一只手控制改變畫面的觸屏。同時(shí)上述于多倫多大學(xué)的一組開發(fā)人員終止了相關(guān)硬件技術(shù)的研發(fā)，把研發(fā)方向轉(zhuǎn)移至軟件及界面上，期望能接續(xù)貝爾實(shí)驗(yàn)室的研發(fā)工作。

1991年此項(xiàng)技控取得重大突破，研制出一種名為數(shù)碼桌面的觸屏技術(shù)，?容許使用者同時(shí)以多個(gè)指頭觸控及拉動(dòng)觸屏內(nèi)的影像。

1999年，“約翰埃利亞斯”和“魯尼韋斯特曼”生產(chǎn)了的多點(diǎn)觸控產(chǎn)品包括iGesture板和多點(diǎn)觸控鍵盤。經(jīng)過(guò)多年維持專利的iGesture板和多點(diǎn)觸控鍵盤。

2006年，Siggraph大會(huì)上，紐約大學(xué)的Jefferson Y Han教授向眾人演示最新成果，其領(lǐng)導(dǎo)研發(fā)的新型觸摸屏可由雙手同時(shí)操作,并且支持多人同時(shí)操作。利用該技術(shù)，Jefferson Y Han在36英寸×27英寸大小的屏幕上，同時(shí)利用多只手指(拇指似乎還無(wú)法感應(yīng)到)，在屏幕上畫出了好幾根線條。與普通的觸摸屏技術(shù)所不同的是，它同時(shí)可以有多個(gè)觸摸熱點(diǎn)得到響應(yīng)，而且響應(yīng)時(shí)間非常短——小于0.1秒。

多點(diǎn)觸摸的基本原理

傳統(tǒng)觸摸屏的本質(zhì)是傳感器，它由觸摸檢測(cè)部件和觸摸屏控制器組成，常見的傳感器包括電阻式和電容式觸摸屏。而基于光學(xué)感應(yīng)的多點(diǎn)觸摸系統(tǒng)是用戶通過(guò)觸摸投影屏幕表面，影響光學(xué)感應(yīng)成像設(shè)備的輸入結(jié)果，成像設(shè)備將成像結(jié)果輸入軟件系統(tǒng)進(jìn)行處理，一般經(jīng)過(guò)3個(gè)步驟，首先是對(duì)原始輸入圖像進(jìn)行包括矯正、濾波等預(yù)處理，然后通過(guò)光斑跟蹤引擎對(duì)觸點(diǎn)進(jìn)行跟蹤，并將其解釋為各種輸入狀態(tài)，最后將輸入位置、狀態(tài)等信息發(fā)送給上層應(yīng)用程序。應(yīng)用程序處理結(jié)果最終被投射到顯示屏幕表面上，從而與用戶產(chǎn)生真正的所見即所得的交互效果。根據(jù)不同的光學(xué)感應(yīng)原理，目前常見的多點(diǎn)觸摸實(shí)現(xiàn)方式包括FTIR(受抑全內(nèi)反射)、DI、LLP等技術(shù)。

多點(diǎn)觸摸的技術(shù)特點(diǎn)

1、?多點(diǎn)觸摸是在同一顯示界面上的多點(diǎn)或多用戶的交互操作模式，摒棄了鍵盤、鼠標(biāo)的單點(diǎn)操作方式。

2、用戶可通過(guò)雙手進(jìn)行單點(diǎn)觸摸，也可以以單擊、雙擊、平移、按壓、滾動(dòng)以及旋轉(zhuǎn)等不同手勢(shì)觸摸屏幕，實(shí)現(xiàn)隨心所欲地操控，從而更好更全面地了解對(duì)象的相關(guān)特征（文字、錄像、圖片、衛(wèi)片、三維模擬等信息）。

3、可根據(jù)客戶需求，訂制相應(yīng)的觸摸板，觸摸軟件以及多媒體系統(tǒng)；可以與專業(yè)圖形軟件配合使用。

多點(diǎn)觸摸的技術(shù)解析

識(shí)別手勢(shì)方向

我們現(xiàn)在看到最多的是?Multi-Touch Gesture,即兩個(gè)手指觸摸時(shí)，可以識(shí)別到這兩個(gè)手指的運(yùn)動(dòng)方向。但還不能判斷出具體位置?？梢赃M(jìn)行縮放、平移、旋轉(zhuǎn)等操作。這種多點(diǎn)觸摸的實(shí)現(xiàn)方式比較簡(jiǎn)單，軸坐標(biāo)方式即可實(shí)現(xiàn)。把?ITO?分為?X,Y?軸，可以感應(yīng)到兩個(gè)觸摸操作，但是感應(yīng)到觸摸和探測(cè)到觸摸的具體位置是兩個(gè)概念。XY?軸方式的觸摸屏可以探測(cè)到第?2?個(gè)觸摸，但是無(wú)法了解第二個(gè)觸摸的確切位置。單一觸摸在每個(gè)軸上產(chǎn)生一個(gè)單一的最大值，從而斷定觸摸的位置，如果有第二個(gè)手指觸摸屏面，在每個(gè)軸上就會(huì)有兩個(gè)最大值。這兩個(gè)最大值可以由兩組不同的觸摸來(lái)產(chǎn)生，于是系統(tǒng)就無(wú)法準(zhǔn)確判斷了。有的系統(tǒng)引入時(shí)序來(lái)進(jìn)行判斷，假設(shè)兩個(gè)手指不是同時(shí)放上去的，但是，總有同時(shí)觸碰的情況，這時(shí)，系統(tǒng)就無(wú)法猜測(cè)了，我們可以把并不是真正觸摸的點(diǎn)叫做"鬼點(diǎn)。

識(shí)別手指位置

Multi-Touch All-Point?是近期比較流行的話題。其可以識(shí)別到觸摸點(diǎn)的具體位置。即沒(méi)有"鬼?點(diǎn)"的現(xiàn)象。多點(diǎn)觸摸識(shí)別位置可以應(yīng)用于任何觸摸手勢(shì)的檢測(cè)，,可以檢測(cè)到雙手十個(gè)手指的同時(shí)觸摸，也允許其他非手指觸摸形式，比如手掌、臉、拳頭等，甚至戴手套也可以。它是最人性化的人機(jī)接口方式，很適合多手同時(shí)操作的應(yīng)用，比如游戲控制。Multi-Touch All-Point?的掃描方式是每行和每列交叉點(diǎn)都需單獨(dú)掃描檢測(cè)，掃描次數(shù)是行數(shù)和列數(shù)的乘積。例如，,一個(gè)?10?根行線，15?根列線所構(gòu)成的觸摸屏，使用Multi-Touch Gesture?的軸坐標(biāo)方式，需要掃描的次數(shù)為?25?次，而多點(diǎn)觸摸識(shí)別位置方式則需要?150?次。

Multi-Touch All-Point?基于互電容的檢測(cè)方式,而不是自電容，自電容檢測(cè)的是每個(gè)感應(yīng)單元的電容(也就是寄生電容?Cp)的變化，有手指存在時(shí)寄生電容會(huì)增加，從而判斷有觸摸存在，而互電容是檢測(cè)行列交叉處的互電容(也就是耦合電容?Cm)的變化，當(dāng)行列交叉通過(guò)時(shí)，行列之間會(huì)產(chǎn)生互電容(包括:行列感應(yīng)單元之間的邊緣電容，行列交叉重疊處產(chǎn)生的耦合電容)，有手指存在時(shí)互電容會(huì)減小，就可以判斷觸摸存在,并且準(zhǔn)確判斷每一個(gè)觸摸點(diǎn)位置。

多點(diǎn)觸控技術(shù)種類

基于傳感器的Multi-Touch系統(tǒng)

許多Multi-Touch裝置基于傳感器技術(shù)，這些傳感器能同時(shí)檢測(cè)到多個(gè)接觸點(diǎn)，從而識(shí)別多個(gè)點(diǎn)的輸入。和基于計(jì)算機(jī)視覺(jué)的Multi-Touch系統(tǒng)相比，基于傳感器的Multi-Touch系統(tǒng)一般不能從現(xiàn)成的組件來(lái)組裝，搭建的成本較高。而且環(huán)境溫度、濕度的會(huì)影響到系統(tǒng)的性能。但是由于可以把傳感器集成在接觸表面上，可用于手機(jī)、Pads等屏幕較小的手持設(shè)備上。

1985年提出的FMTSID(Fast Multiple-Touch-Sensitive Input Device)多點(diǎn)觸控裝置是最早的基于傳感器的多點(diǎn)觸控裝置之一。該系統(tǒng)由一個(gè)傳感器矩陣面板、行列選擇寄存器、A/D轉(zhuǎn)換器和一個(gè)控制CPU組成。通過(guò)測(cè)量電容的改變，來(lái)檢測(cè)手指的觸摸點(diǎn)。FMTSID可以精確的檢測(cè)多個(gè)手指的觸摸位置，而且還可以檢測(cè)出手指的接觸壓力。

三菱電子研究實(shí)驗(yàn)室的Dietz等在2001年提出了DiamondTouch（DT），是一個(gè)支持多用戶的前置攝像頭的多點(diǎn)觸控系統(tǒng)。桌面是投影的屏幕，同時(shí)也是接觸屏。觸屏下面鑲嵌大量的觸角，每一個(gè)觸角傳遞一個(gè)特定的信號(hào)，每一個(gè)使用者有獨(dú)立的接收器，利用使用者的導(dǎo)電性，通過(guò)其座椅將信號(hào)傳遞。當(dāng)使用者接觸面板，在接觸點(diǎn)附近的觸角在使用者的身體和接收器之間傳遞微弱的信號(hào)。這種獨(dú)特的接觸技術(shù)支持單一使用者的多種接觸（例如雙手接觸的動(dòng)作），還能區(qū)別不同使用者之間的同時(shí)輸入（多達(dá)4個(gè)）而互不干擾。該系統(tǒng)還可以檢測(cè)接觸點(diǎn)的壓力，支持豐富的手勢(shì)，不受外來(lái)物體的干擾。和許多的多點(diǎn)觸控技術(shù)一樣，DT不能區(qū)分來(lái)自同一個(gè)用戶的多個(gè)接觸點(diǎn)是那個(gè)手指的。DiamondTouch存在如下的缺點(diǎn)：只能檢測(cè)到“touch”動(dòng)作，而不能識(shí)別放在他表面上的物體；DT則從桌子上方投射圖像，因此使用的時(shí)候，人的肢體遮擋顯示屏，從而帶來(lái)操作上的不變。

根據(jù)FMTSID原理，Sony計(jì)算機(jī)科學(xué)實(shí)驗(yàn)室的Rekimoto等在2002年提出具有更高分辨率的SmartSkin多點(diǎn)觸控系統(tǒng)，該系統(tǒng)由網(wǎng)格狀發(fā)射器/接收器組成。

SmartSkin可以不僅可以識(shí)別多個(gè)手的接觸位置和它們的形狀，而且通過(guò)電容感應(yīng)和網(wǎng)格式的天線來(lái)計(jì)算手和接觸面的距離。和DiamondTouch相比，SmartSkin能夠返回更加豐富的接觸信息（如手指的接觸形狀）。這激發(fā)了Cao等人利用手指的接觸形狀來(lái)設(shè)計(jì)新穎的交互方式。

Apple在2007年推出的iPhone手機(jī)，是第一個(gè)支持多點(diǎn)觸控的移動(dòng)設(shè)備。iPhone使用電容耦合來(lái)感應(yīng)多個(gè)觸控點(diǎn)。iPhone能夠?qū)崿F(xiàn)具有有限維度的多點(diǎn)觸控，允許人們以徒手的方式進(jìn)行操作，并且可以通過(guò)虛擬的鍵盤進(jìn)行打字，撥電話號(hào)碼以及由Krueger最先介紹的“pinching”技術(shù)（用一只手的大拇指和食指實(shí)現(xiàn)對(duì)地圖和照片的縮放操作）。這是鼠標(biāo)、鍵盤這些傳統(tǒng)的輸入方式所辦不到的，iPhone的這些功能讓人們耳目一新。隨著Apple公布了iPhone SDK，引起了研究人員對(duì)于Multi-touch技術(shù)在手持設(shè)備中的應(yīng)用研究的極大興趣。

基于計(jì)算機(jī)視覺(jué)的Multi-Touch系統(tǒng)

由于計(jì)算機(jī)成本的下降和性能的提高，計(jì)算機(jī)視覺(jué)技術(shù)得到了很大的進(jìn)步，這使我們能夠?qū)崟r(shí)、高速處理視頻信號(hào)，這足以滿足實(shí)時(shí)交互和人機(jī)交互的要求。由此研究人員提出了許多以計(jì)算機(jī)視覺(jué)為核心的Multi-Touch系統(tǒng)。

完全基于計(jì)算機(jī)視覺(jué)的多點(diǎn)觸控系統(tǒng)

完全基于計(jì)算機(jī)視覺(jué)的多點(diǎn)觸控系統(tǒng)僅使用圖像處理技術(shù)來(lái)識(shí)別接觸點(diǎn)及其接觸的位置。采用該技術(shù)的多點(diǎn)觸控系統(tǒng)可以在任何平整的表面使用，而不需要專門的顯示設(shè)備，具有很高的便攜性。但這種便攜性是以犧牲選擇精度為代價(jià)的。

Pinhanez等人設(shè)計(jì)了一個(gè)完全基于計(jì)算機(jī)視覺(jué)的觸摸顯示系統(tǒng)——Everywhere Display[4]。該系統(tǒng)使用一個(gè)攝像頭和投影儀通過(guò)圖像處理技術(shù)把一個(gè)普通的屏幕變成可以觸控互動(dòng)的顯示屏幕。雖然Pinhanez在文章中沒(méi)有提供任何接觸檢測(cè)算法的選擇精度的數(shù)據(jù)，但很明顯為了便攜性而犧牲了選擇的精度。比起其它Multi-touch技術(shù)來(lái)說(shuō)，Everywhere Display要精確確定手指觸摸顯示屏的時(shí)間和時(shí)長(zhǎng)很困難。

Microsoft的Wilson等提出的PlayAnywhere系統(tǒng)]是一個(gè)相對(duì)比較緊湊和具有較好的移動(dòng)性的前置攝像頭的桌面交互系統(tǒng)。Wilson為基于計(jì)算機(jī)視覺(jué)的前置攝像頭桌面交互系統(tǒng)提出了多種圖像處理技術(shù)，最顯著的是基于陰影的觸摸檢測(cè)算法，該算法能夠準(zhǔn)確、可靠地檢測(cè)觸摸事件和它們的接觸位置。但Agarwal等指出，該算法只有在手指的指向是垂直的情況下效果才是最好的，這限制了該系統(tǒng)在協(xié)作環(huán)境下的應(yīng)用。

Agarwal等人根據(jù)立體圖像和機(jī)器學(xué)習(xí)技術(shù)開發(fā)了計(jì)算機(jī)視覺(jué)算法，該算法改善了基于計(jì)算機(jī)視覺(jué)的多點(diǎn)交互桌面的選擇精度（精確度2~3mm），能夠準(zhǔn)確地檢測(cè)指尖的觸摸事件，其準(zhǔn)確率達(dá)到了98.48%，這和以前的技術(shù)級(jí)相比（之前的選擇精度一般是cm級(jí)別的），有了很大的提高。

基于計(jì)算機(jī)視覺(jué)和光學(xué)的多點(diǎn)觸控系統(tǒng)

基于計(jì)算機(jī)視覺(jué)和光學(xué)的Multi-touch技術(shù)搭建起來(lái)的設(shè)備具有很好的擴(kuò)展性，而且成本相對(duì)較低，但其體積一般都比較大。下面介紹兩種基于計(jì)算機(jī)視覺(jué)和光學(xué)的Multi-touch系統(tǒng)。

1、受抑全內(nèi)反射技術(shù)（FTIR）

FTIR（Frustrated TotalInternal Reflection）是一種光學(xué)現(xiàn)象，LED(發(fā)光二極管)發(fā)出的光束從觸摸屏截面照向屏幕的表面后，將產(chǎn)生反射。如果屏幕表層是空氣，當(dāng)入射光的角度滿足一定條件時(shí)，光就會(huì)在屏幕表面完全反射。但是如果有個(gè)折射率比較高的物質(zhì)(例如手指)壓住丙烯酸材料面板，屏幕表面全反射的條件就會(huì)被打破，部分光束透過(guò)表面，投射到手指表面。凹凸不平的手指表面導(dǎo)致光束產(chǎn)生散射(漫反射)，散射光透過(guò)觸摸屏被架設(shè)在亞克力板面下面的紅外攝像頭讀取，通過(guò)對(duì)應(yīng)的軟件（Touchlib）就可以檢測(cè)到相應(yīng)的觸摸信息。Touchlib?是NUI Group為多點(diǎn)觸控系統(tǒng)開發(fā)的一套軟件庫(kù)，它實(shí)現(xiàn)了計(jì)算機(jī)視覺(jué)大部分算法。這種技術(shù)使用簡(jiǎn)單的Blob檢測(cè)算法就能檢測(cè)多個(gè)觸摸點(diǎn)和接觸的位置。

實(shí)際上，F(xiàn)TIR原理很早就被用來(lái)生產(chǎn)一些輸入設(shè)備，例如指紋閱讀器。Jefferson首次利用FTIR原理搭建了一個(gè)低成本的多點(diǎn)觸摸顯示屏，大大降低了Multi-touch技術(shù)的研究成本。根據(jù)Jefferson的方法，我們搭建了一個(gè)60cmx45cm的Multi-touch平臺(tái)，總共花費(fèi)不到500元。

2、散射光照明技術(shù)（DI）

DI（DiffusedIllumination）多點(diǎn)觸摸技術(shù)指紅外光從底部照射在觸摸屏幕上，將漫反射幕放在觸摸屏幕的上面或者底部，當(dāng)物體觸摸屏幕的時(shí)候會(huì)反射比漫反射幕更多的紅外光，然后被攝像頭讀取，通過(guò)Touchlib就可以檢測(cè)到相應(yīng)的觸摸信息。用這個(gè)漫反射幕也可以用來(lái)檢測(cè)懸停和在界面上的物體。

DI技術(shù)和FTIR相比，有一定的優(yōu)勢(shì)，DI系統(tǒng)可以檢測(cè)物體的懸停狀態(tài)（系統(tǒng)能識(shí)別手或者手指在屏幕上移動(dòng)或者移近屏幕，而不需要真正觸摸）。另外，基于DI的系統(tǒng)依靠“看”什么在屏幕上，而不是檢測(cè)觸摸本身，因此，DI能夠識(shí)別和檢測(cè)物體和物體的標(biāo)記。但是，和FTIR中使用的簡(jiǎn)單的Blob跟蹤檢測(cè)算法相比，DI使用的圖像處理技術(shù)比較復(fù)雜。此外，DI系統(tǒng)容易受到外界光線的影響。

Microsoft的?Surface?是基于背面DI (Diffuse Illumination)技術(shù)的多點(diǎn)觸控系統(tǒng)。Surface內(nèi)置的攝像頭可以感知觸摸和姿勢(shì)等用戶輸入（手指在屏幕上移動(dòng)），還能夠捕捉識(shí)別放在上面的物體所需信息。這些信息發(fā)送到普通類型的Windows PC進(jìn)行處理，處理結(jié)果由數(shù)字光處理（DLP）投影儀返回給Surface。Microsoft Surface能感應(yīng)多個(gè)手指和手，能識(shí)別多種物體和它們?cè)诒砻嫔系奈恢谩?/p>

還有其他一些基于計(jì)算機(jī)視覺(jué)和光學(xué)的Multi-touch系統(tǒng)，例如：Alex?提出的激光平面多點(diǎn)觸摸技術(shù)（LLP）；由Nima提出發(fā)光二極管平面多點(diǎn)觸摸技術(shù)（LED-LP）；由Tim Roth?提出的散射光平面多點(diǎn)觸摸技術(shù)（DSI）。這些技術(shù)都可以用來(lái)搭建Multi-touch設(shè)備。

多點(diǎn)觸控的關(guān)鍵技術(shù)

Multi-touch技術(shù)可簡(jiǎn)單的分解為兩部：硬件和軟件。硬件完成信息的采集，軟件完成信息的分析判斷，最終轉(zhuǎn)換成具體的用戶命令。由此可以認(rèn)為Multi-touch的關(guān)鍵技術(shù)應(yīng)包括以下幾個(gè)主要的部分：

Multi-touch硬件平臺(tái)

如本文前面介紹的硬件平臺(tái)，這些平臺(tái)各有各的優(yōu)缺點(diǎn)，了解這些平臺(tái)的組成和原理的意義在于如何搭建成本更加低廉、安裝移植更加方便、目標(biāo)選擇更加精確的交互平臺(tái)和研究一些與平臺(tái)無(wú)關(guān)的交互技術(shù)。

精度選擇技術(shù)

精度選擇技術(shù)實(shí)際上也就是觸點(diǎn)的檢測(cè)跟蹤，如何準(zhǔn)確地跟蹤和定位觸點(diǎn)，實(shí)現(xiàn)手勢(shì)的自由交互有很大的意義。尤其，當(dāng)目標(biāo)尺寸很小時(shí)，我們的手指如何準(zhǔn)確定位到我們想要的目標(biāo)上，這也是一個(gè)值得深入研究的內(nèi)容。

身份識(shí)別技術(shù)

現(xiàn)有的Multi-touch技術(shù)檢測(cè)到的觸點(diǎn)大都不攜帶用戶信息。目前可以識(shí)別用戶身份的技術(shù)有DiamondTouch（最多可以識(shí)別4個(gè)用戶）。文獻(xiàn)[30]提出的利用手指指向在FTIR平臺(tái)上實(shí)現(xiàn)的一種輕量級(jí)的用戶身份識(shí)別技術(shù)。研究識(shí)別觸點(diǎn)來(lái)自哪個(gè)用戶，更進(jìn)一步，這些觸點(diǎn)來(lái)自用戶的那只手，還有就是哪些觸點(diǎn)只對(duì)特定的用戶響應(yīng)等等，這對(duì)于大尺寸的交互區(qū)上的多用戶協(xié)同工作具有重要的應(yīng)用價(jià)值。

雙手交互技術(shù)

雙手操作是人在日常生活中最常用操作方式，將這些自然操作應(yīng)用與人機(jī)交互過(guò)程可以大大減輕操作者的認(rèn)知負(fù)擔(dān)，形成很自然的“意識(shí)～動(dòng)作”，提高交互操作的效率，我們認(rèn)為將是以后的一個(gè)研究重點(diǎn)。

多點(diǎn)觸控技術(shù)的應(yīng)用

多點(diǎn)觸控屬于感應(yīng)式互動(dòng)投影系統(tǒng)主要針對(duì)新型多媒體內(nèi)容展示而設(shè)計(jì)。集合新的創(chuàng)意、新的表現(xiàn)形式、新的媒體平臺(tái)，配合普通桌面顯示絢麗的交互畫面，令用戶在觸覺(jué)、視覺(jué)、聽覺(jué)以及人機(jī)交互感知方面獲得極大沖擊力。用戶站在背投屏幕的面前，通過(guò)手掌點(diǎn)擊和拖動(dòng)等方式與多媒體內(nèi)容進(jìn)行互動(dòng)。

該系統(tǒng)的開發(fā)基于先進(jìn)的計(jì)算機(jī)視覺(jué)技術(shù)和投影顯示技術(shù)，將用戶的自然運(yùn)動(dòng)與可交互的多媒體內(nèi)容相結(jié)合，創(chuàng)造了一種神奇清新的互動(dòng)體驗(yàn)，系統(tǒng)交互所產(chǎn)生的絢麗效果可以有效的吸引目標(biāo)人群的注意。使用本系統(tǒng)，用戶可以使用雙手或肢體與多媒體內(nèi)容進(jìn)行任意的互動(dòng)，互動(dòng)過(guò)程中，用戶可以收獲感官的新奇刺激，并對(duì)所交互的內(nèi)容留下深刻的印象。

而多點(diǎn)觸控系大屏幕邊緣融合系統(tǒng)包含一組渲染子系統(tǒng)和一組圖像采集子系統(tǒng)。圖像采集子系統(tǒng)的硬件主要包含一個(gè)紅外信號(hào)感應(yīng)器，其功能是捕捉觀展者的動(dòng)作對(duì)其進(jìn)行分析與處理，并將處理結(jié)果發(fā)送給渲染服務(wù)器。渲染子系統(tǒng)主要包含一臺(tái)投影儀，其功能是接收?qǐng)D像采集子系統(tǒng)的處理結(jié)果，生成相應(yīng)的圖像通過(guò)投影儀顯示到屏幕上，從而實(shí)現(xiàn)最自然的展示效果。所有的圖像采集處理/渲染工作均在工作站上完成。這樣的一來(lái)，多點(diǎn)平臺(tái)的應(yīng)用就不在被投影屏幕尺寸規(guī)格所限制，擁有更強(qiáng)大的展示方式。

多點(diǎn)觸控技術(shù)，能構(gòu)成一個(gè)觸摸屏（屏幕，桌面，墻壁等）或觸控板，都能夠同時(shí)接受來(lái)自屏幕上多個(gè)點(diǎn)的輸入信息。在與傳統(tǒng)的單點(diǎn)觸摸屏技術(shù)相比，已經(jīng)突破了傳統(tǒng)的單一的鼠標(biāo)左鍵功能，不在是單調(diào)的點(diǎn)擊，可以實(shí)現(xiàn)多人一起操作，擁有更華麗的操作模式和豐富的素材內(nèi)容。

編輯：黃飛

?