眼球追蹤就是這樣一個(gè)讓機(jī)器人更懂人類(lèi)的技術(shù)。

 

眼球追蹤主要是研究眼球運(yùn)動(dòng)信息的獲取、建模和模擬。一是根據(jù)眼球和眼球周邊的特征變化進(jìn)行跟蹤，二是根據(jù)虹膜角度變化進(jìn)行跟蹤，三是主動(dòng)投射紅外線等光束到虹膜來(lái)提取特征。

 

早在2012年，眼控技術(shù)研究科技公司Tobii宣布研發(fā)出了適配Windows 8的眼控Gaze界面。這是一家做眼球追蹤技術(shù)較早的瑞典公司。2007年公司估值1400萬(wàn)美元，2009年則達(dá)到了2680萬(wàn)美元。2012年，英特爾注資2100萬(wàn)美元進(jìn)Tobii公司，也是出于對(duì)windows 8操作系統(tǒng)一次投資。2014年，Tobii 推出了第二代智能眼鏡 Glass 2，利用每個(gè)鏡片配備 2 個(gè)攝像頭以及相應(yīng)的軟件技術(shù)，實(shí)現(xiàn)對(duì)眼球動(dòng)作的精準(zhǔn)捕捉。

 

Tobii 智能眼鏡

 

英特爾雖然很早就收購(gòu)了眼球追蹤的公司，但是經(jīng)過(guò)多年，眼球追蹤依然未成為筆記本電腦的核心交互方式。而VR的發(fā)展卻讓我們看到了眼球追蹤技術(shù)應(yīng)用的更多的可能性。

 

 

Oculus的創(chuàng)始人Palmer Luckey曾表示，眼部跟蹤技術(shù)會(huì)成為VR技術(shù)未來(lái)的一個(gè)“重要組成部分”。不僅能實(shí)現(xiàn)注視點(diǎn)渲染技術(shù)，它還能用來(lái)創(chuàng)造一種視覺(jué)深度，以創(chuàng)作出更好的用戶界面。

 

 

VR要帶給人沉浸感，就要做到能讓人在虛擬空間里自然運(yùn)動(dòng)，這需要通過(guò)運(yùn)動(dòng)追蹤來(lái)改變場(chǎng)景的呈現(xiàn)。目前的VR設(shè)備主要是利用空間定位技術(shù)來(lái)捕捉人的身體的位置運(yùn)動(dòng)，用慣性傳感器來(lái)捕捉人的頭部的運(yùn)動(dòng)，人在轉(zhuǎn)動(dòng)頭部時(shí)，視角會(huì)發(fā)生相應(yīng)的變化。

 

但是這只是比較初級(jí)的動(dòng)作捕捉，人其實(shí)大多數(shù)時(shí)候都是通過(guò)轉(zhuǎn)動(dòng)眼球而不是頭部來(lái)改變視覺(jué)。人們習(xí)慣用眼球轉(zhuǎn)動(dòng)（而不是頭部轉(zhuǎn)動(dòng)）去觀察。

 

目前的VR只追蹤頭部不追蹤眼球運(yùn)動(dòng)容易使人眩暈（Motion Sickness）。人類(lèi)對(duì)于頭部轉(zhuǎn)動(dòng)和相對(duì)應(yīng)的視野的變化是極度敏感的。如果用戶的頭轉(zhuǎn)動(dòng)了，而相對(duì)的，視野轉(zhuǎn)動(dòng)有延遲，只要很微小的延遲就能感覺(jué)得到。有多微小呢？研究表明，頭動(dòng)和視野的延遲不能超過(guò)20ms，不然就會(huì)非常明顯。而眼球追蹤技術(shù)運(yùn)用在這里正好可以解決這一問(wèn)題，以眼球的變化來(lái)控制場(chǎng)景的變化。

 

 

場(chǎng)景的變化很必要，但是要讓VR呈現(xiàn)出同自然世界一樣的場(chǎng)景和空間感所需的信息量和計(jì)算量是極大的。目前的VR大多數(shù)是將全部場(chǎng)景以同等的清晰度來(lái)呈現(xiàn)，用戶移動(dòng)頭部和身體時(shí)虛擬物體也會(huì)相應(yīng)地變換位置，視點(diǎn)拉近和退后都會(huì)影響景深，這些變化都需要大量的計(jì)算和不斷更新。

 

目前的VR能達(dá)到每秒36次的刷新，而要達(dá)到人眼場(chǎng)景轉(zhuǎn)換的速度則需要2000-3000次每秒，要實(shí)時(shí)渲染出這些場(chǎng)景，就連很高配的電腦都達(dá)不到。

 

而事實(shí)上，VR根本就不需要也不應(yīng)該以全部的清晰度來(lái)呈現(xiàn)場(chǎng)景里的所有物體。在日常生活中，我們都明白“近大遠(yuǎn)小”，并且當(dāng)我們注視一個(gè)物體時(shí)，這個(gè)物體會(huì)變清晰而其他物體會(huì)變模糊，這樣我們看物體才有空間感和景深。如果當(dāng)我們的視線轉(zhuǎn)移了，畫(huà)面中的物體還是全部清晰的，那么我們的眼睛就會(huì)感到“不適應(yīng)”，并且會(huì)因?yàn)樘幚磉^(guò)多信息而疲勞。

 

注視點(diǎn)渲染的效果

 

注視點(diǎn)渲染可以解決VR里畫(huà)面呈現(xiàn)的問(wèn)題，通過(guò)追蹤眼睛的注視點(diǎn)，計(jì)算機(jī)可以只清晰渲染出注視點(diǎn)的場(chǎng)景，而將周邊的場(chǎng)景模糊呈現(xiàn)。這樣我們眼睛在虛擬環(huán)境中看物體和在自然場(chǎng)景中看物體的體驗(yàn)就會(huì)變得一致，這樣虛擬和現(xiàn)實(shí)的切換就不會(huì)有明顯的障礙，由視點(diǎn)和運(yùn)動(dòng)帶來(lái)的眩暈也會(huì)減輕。

 

Oculus首席科學(xué)家Michale Abrash在談及VR趨勢(shì)時(shí)說(shuō)道，VR將在5年內(nèi)解決聚焦的景深問(wèn)題。而視點(diǎn)渲染技術(shù)和眼球追蹤技術(shù)是關(guān)鍵的解決辦法。前文已寫(xiě)到，英偉達(dá)與七鑫易維展開(kāi)合作將從底層技術(shù)實(shí)現(xiàn)GPU基于眼球追蹤的注視點(diǎn)優(yōu)化渲染技術(shù)。

 

 

VR中的交互目前還是一個(gè)尚需探索的領(lǐng)域，用戶已經(jīng)習(xí)慣了2D的平面界面信息呈現(xiàn)，在進(jìn)入VR里時(shí)會(huì)出現(xiàn)信息迷失的狀態(tài)。在很多的試驗(yàn)中發(fā)現(xiàn)，用戶不會(huì)通過(guò)轉(zhuǎn)動(dòng)頭部來(lái)獲取整個(gè)環(huán)境信息，也很難自己找到隱藏的菜單和選項(xiàng)，通常需要工作人員的指引或者是游戲語(yǔ)音的引導(dǎo)。

 

眼控VR將會(huì)為VR帶來(lái)全新的玩法，在射擊類(lèi)游戲中可以由眼睛控制光標(biāo)鎖定，當(dāng)用戶閉上一只眼時(shí)自動(dòng)調(diào)出瞄準(zhǔn)鏡等，還可以根據(jù)玩家在游戲場(chǎng)景中注視點(diǎn)不同觸發(fā)不同的劇情，當(dāng)玩家注視路口時(shí)，會(huì)自動(dòng)出現(xiàn)地圖導(dǎo)航，當(dāng)注視NPC不同部位觸發(fā)不同的劇情等。除此之外眼控的交互方式還可以應(yīng)用于游戲菜單，不需要使用的菜單會(huì)自動(dòng)隱藏，使用時(shí)通過(guò)眼控觸發(fā)，使VR界面更加干凈。

 

當(dāng)然，虛擬現(xiàn)實(shí)中的交互方式還有待探索，不管是Leap Motion主張的手勢(shì)交互，還是眼球控制的技術(shù)點(diǎn)交互，都必須符合人們的交互習(xí)慣。

 

 

雖然各大巨頭都各自收購(gòu)、投資了眼球追蹤技術(shù)公司，眼球追蹤技術(shù)在解決VR因?yàn)榈难灠Y、提升沉浸感、增強(qiáng)交互方面都有極大的作用，眼球追蹤技術(shù)已然成為AR/VR發(fā)展的關(guān)鍵性和基礎(chǔ)性技術(shù)。

 

但是目前有一些顯在的問(wèn)題需要解決。

 

 

Tobii Glass 2 售價(jià)最低為 14900 美元，高級(jí)版 29900 美元，包括了眼鏡、輔助記錄器和分析軟件。七鑫易維的眼控模組aGlass的售價(jià)是單眼1500元，包括一個(gè)眼控追蹤配件和三個(gè)分別是200度、400度、600度的近視鏡片。The Eye Tribe的眼球追蹤開(kāi)發(fā)者套件，售價(jià)99美元，面向消費(fèi)者的眼球追蹤盒子，售價(jià)199美元。

 

黃通兵表示，將眼球追蹤模組化集成到頭顯內(nèi)有望將成本降低到20-30美元，但是即使這樣，要HTC、Oculus這樣的頭盔廠商消化這部分的成本，需要擴(kuò)展眼球追蹤技術(shù)的應(yīng)用場(chǎng)景。目前眼球追蹤的最大價(jià)值在于在于與英偉達(dá)、AMD這樣的GPU廠商合作，利用注視點(diǎn)渲染技術(shù)降低VR頭顯對(duì)GPU的需求。

 

 

眼球追蹤技術(shù)針對(duì)人眼，因此要對(duì)人眼的生物體征有很好的了解，眼球追蹤設(shè)備需要能夠識(shí)別出不同的健康程度、不同膚色、不同特征的人眼。目前僅是近視這個(gè)問(wèn)題就會(huì)困擾很多做智能眼睛和VR頭盔的用戶，更不用說(shuō)一些患有斜視的用戶。

 

另外，我們可以看到目前眼球追蹤的設(shè)備有各種不同的形態(tài)，包括Tobii的智能眼鏡、The Eye Tribe的眼球追蹤盒子、七鑫易維的VR眼控模組。眼球追蹤盒子的形態(tài)顯然更適用于電腦，智能眼鏡可以整合到AR眼鏡里。

 

 

目前來(lái)看，眼球追蹤技術(shù)應(yīng)用于VR是一個(gè)必然的趨勢(shì)，目前已有帶眼球追蹤的VR頭盔Fove，各大廠商也計(jì)劃推出有眼球追蹤功能的VR一體機(jī)。

 

英偉達(dá)主要是希望以眼球追蹤技術(shù)幫助VR做注視點(diǎn)渲染，降低GPU負(fù)載，專注移動(dòng)VR的高通的移動(dòng)處理器可能集成眼球追蹤算法，更好地支持移動(dòng)VR體驗(yàn)。

 

雖然在此文主要集中分析VR，但是眼球追蹤在AR的應(yīng)用也是不可忽視的，AR在未來(lái)的應(yīng)用場(chǎng)景會(huì)比VR更為廣闊。

 

在采訪國(guó)內(nèi)另一家眼球追蹤技術(shù)公司“上海青研”時(shí)了解到，相比于VR，上海青研更為傾向于眼球追蹤在AR上的應(yīng)用，青研結(jié)合眼控技術(shù)與AR技術(shù)，在可穿戴的AR眼鏡上添加眼控模組。

 

“AR眼控技術(shù)與VR眼控技術(shù)的應(yīng)用場(chǎng)景不同：VR看的是虛擬世界，AR看的是真實(shí)世界；VR偏重娛樂(lè)更多一些，AR偏重實(shí)用更多一些；VR to C更多一些，AR to B更多一些。青研公司開(kāi)發(fā)AR眼控技術(shù)是為了滿足B端客戶的需求。”青研CEO杜煜解釋到。AR和VR不僅在客戶群，應(yīng)用場(chǎng)景上有不同，需要解決的問(wèn)題也有很大不同。

 

杜煜認(rèn)為：“AR眼控技術(shù)與VR眼控技術(shù)的主要不同在于：VR眼控需要把眼睛注視點(diǎn)坐標(biāo)和VR屏幕對(duì)應(yīng)，AR眼控需要把眼睛注視點(diǎn)坐標(biāo)和真實(shí)世界的物體坐標(biāo)對(duì)應(yīng)，所以在VR眼控技術(shù)的基礎(chǔ)之上，AR還需要拍攝用戶前方的真實(shí)場(chǎng)景，并將眼睛注視點(diǎn)坐標(biāo)與真實(shí)場(chǎng)景建立起三維的對(duì)應(yīng)關(guān)系。

 

AR眼控的主要難點(diǎn)有：

 

 

2016年，風(fēng)投機(jī)構(gòu)Accel Partners的科比·富勒（Kobie Fuller）說(shuō)：“眼球追蹤技術(shù)可能非常強(qiáng)大，但從投資角度看，還無(wú)法確定其具備的價(jià)值?，F(xiàn)在有價(jià)值數(shù)十億美元的眼球追蹤技術(shù)公司嗎？我還不知道。”

 

從目前各大巨頭對(duì)眼球追蹤技術(shù)公司收購(gòu)的金額來(lái)看，價(jià)值數(shù)十億美元的眼球追蹤技術(shù)公司并不是不可能。7月16日，美國(guó)市場(chǎng)研究機(jī)構(gòu)MarketsandMarkets發(fā)布了關(guān)于眼動(dòng)追蹤市場(chǎng)的分析報(bào)告，其預(yù)計(jì)該市場(chǎng)在2023年將達(dá)到13.765億美元的市值，2017年-2023年的年均復(fù)合增長(zhǎng)率為27.4%。眼球追蹤的軟件和硬件在這幾年都會(huì)呈明顯上升趨勢(shì)?；蛟S現(xiàn)在仍不明朗的是合作模式，眼球追蹤會(huì)成為獨(dú)立的產(chǎn)品還是作為內(nèi)嵌技術(shù)？

 

目前我們看到，眼球追蹤公司也都在生產(chǎn)眼動(dòng)儀，智能眼鏡等to C的產(chǎn)品，以及開(kāi)些幫助企業(yè)開(kāi)發(fā)的to B產(chǎn)品，同時(shí)也在與大廠合作，做VR/AR的外接或內(nèi)嵌技術(shù)，商業(yè)模式相對(duì)靈活。但是卻始終沒(méi)有獲得一個(gè)明顯的發(fā)展。VR和AR的發(fā)展對(duì)眼球追蹤技術(shù)或許能帶來(lái)不一樣的活力。

 

 

目前蘋(píng)果、谷歌、Facebook、英偉達(dá)、高通這些巨頭公司幾乎占領(lǐng)互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)的大半壁江山，也主導(dǎo)著人工智能、自動(dòng)駕駛、AR/VR等前沿技術(shù)的發(fā)展。

 

資本+技術(shù)，巨頭們的任何一個(gè)舉動(dòng)都可能有改變我們的生活的潛力，而通過(guò)長(zhǎng)期的行業(yè)報(bào)道發(fā)現(xiàn)，近年來(lái)巨頭們都在積極布局眼球追蹤技術(shù)，除了眼球追蹤在人機(jī)交互的巨大潛能以外，眼球追蹤技術(shù)還可能成為VR和AR的基礎(chǔ)性技術(shù)，為AR的VR的發(fā)展提供必要的支持。雖然未來(lái)還有不少挑戰(zhàn)，但是我們很欣喜地看到在眼球追蹤技術(shù)上，中國(guó)公司的發(fā)展已經(jīng)完全與國(guó)外接軌，站在同一競(jìng)爭(zhēng)舞臺(tái)上。

 

（節(jié)選自雷鋒網(wǎng)）