眼球交互vs眼疲勞,前Vision Pro設(shè)計(jì)師揭秘這些細(xì)節(jié)_環(huán)球速看
時(shí)間:2023-06-23 10:29:30
Vision Pro的發(fā)布帶來了眾多討論,從交互層面來看,它真正的將AR/VR的首選交互從手柄轉(zhuǎn)移到手勢+眼球上面來,此前的AR、VR大部分還是通過手柄來完成交互(HoloLens除外),手勢交互是它們的第二選擇。
(資料圖片)
交互方式主要靠眼睛注視(融合手勢)的方式自然也會(huì)帶來一些疑問,比如是否容易造成眼疲勞?圍繞這一話題,也有不少開發(fā)者、工程師、設(shè)計(jì)師等展開討論。
近期,前蘋果高級(jí)AI和AR設(shè)計(jì)師Bart Trzynadlowski發(fā)表了自己的看法,它在職期間負(fù)責(zé)了Vision Pro和在保密階段的AR項(xiàng)目開發(fā)工作,雖然不能泄密,但它公開資料中向我們帶來更多解讀,包括技術(shù)、UI、UX等多個(gè)方面。
1. 眼球追蹤交互的難點(diǎn)
為什么眼球追蹤不能轉(zhuǎn)換成精準(zhǔn)的輸入?這就要說到復(fù)雜的人眼運(yùn)動(dòng)特性。人眼除了主動(dòng)移動(dòng)外,還會(huì)存在一些細(xì)微的被動(dòng)運(yùn)動(dòng),如果這些微動(dòng)作被識(shí)別為意圖,那么眼球追蹤結(jié)果很難準(zhǔn)確。
因此,眼球追蹤系統(tǒng)存在一種叫“Midas Touch”的難題,即人眼常見的眼跳、眨眼等無意的微動(dòng)作會(huì)在交互中產(chǎn)生誤操作,就像是傳說中的Midas一樣,手指點(diǎn)到的任何東西都會(huì)變成金子。如果眼球交互的錯(cuò)誤率高,那么體驗(yàn)感也不會(huì)理想。
此前,Unity高級(jí)研發(fā)工程師Eric Pvncher曾指出,此前的XR頭顯不廣泛使用眼球輸入,原因是很難做到精準(zhǔn),而且過度使用人眼會(huì)產(chǎn)生認(rèn)知負(fù)擔(dān)。比如在一個(gè)用注視點(diǎn)控制光標(biāo)繪畫的demo中,可以明顯看到眼球輸入的筆跡是抖動(dòng)的,不能很準(zhǔn)確的控制光標(biāo)。
換句話說,現(xiàn)階段眼球輸入并不能達(dá)到鼠標(biāo)點(diǎn)擊的精準(zhǔn)性和靈敏性,因此在交互設(shè)計(jì)上,不適合直接借鑒鼠標(biāo)移動(dòng)光標(biāo)的方式。更重要的是,相比于手動(dòng)操控鼠標(biāo),用頻繁轉(zhuǎn)動(dòng)眼球移動(dòng)光標(biāo)也會(huì)對(duì)視力損耗不小。
2. 硬件的改善優(yōu)化
為了優(yōu)化眼球交互/輸入,蘋果從硬件、UI、交互方式等多方面都做出了努力。
硬件方面,AVP的眼球追蹤模組(IR相機(jī)、LED光源)位于透鏡之下,可以更好更全面的捕捉人眼的動(dòng)作。而Quest Pro則不同,它的IR相機(jī)和LED位于透鏡外側(cè),更靠近人眼。
3. 系統(tǒng)和軟件的優(yōu)化
在近眼顯示設(shè)備中,眼舒適是個(gè)永恒的話題,無論是否融合眼球追蹤技術(shù),關(guān)于顯示也同樣如此。
而基于眼球追蹤的交互必然會(huì)造成眼疲勞,這點(diǎn)毋庸置疑。實(shí)際上蘋果在WWDC23/10078公開課中也明確這一點(diǎn),同時(shí)還提到:需要在系統(tǒng)和軟件層面提供“合適的設(shè)計(jì)”,讓眼睛得到休息也是交互中重要的一點(diǎn)。
其中有幾個(gè)核心設(shè)計(jì)技巧:
1,視覺中心應(yīng)該中心,且略靠下位置(也就是視軸方向);
2,眼睛轉(zhuǎn)動(dòng)優(yōu)先左右移動(dòng),而不是上下或斜向轉(zhuǎn)動(dòng);
其中,還明確提到如果眼睛大范圍轉(zhuǎn)動(dòng)是必要交互,也應(yīng)盡可能減少眼睛大范圍的轉(zhuǎn)動(dòng),并且考慮讓眼睛能夠持續(xù)交互過程中有片刻休息的“自然斷點(diǎn)”,而不是通過給予持續(xù)的UI反饋持續(xù)吸引眼球。
作為眼球注視+手勢的融合交互帶來的好處也很明顯,就是非常直接,從多位現(xiàn)場體驗(yàn)的媒體來看也的確如此,普遍好評(píng)。
為進(jìn)一步提升注視點(diǎn)預(yù)測的準(zhǔn)確性,蘋果還為Vision Pro搭配了精心設(shè)計(jì)的UI,可以很好的配合現(xiàn)有的眼球追蹤技術(shù),較為準(zhǔn)確的識(shí)別、過濾用戶意圖。比如,將可交互的元素設(shè)計(jì)的比較大,并盡量采用圓潤的圖形,來增加注視點(diǎn)可停留的區(qū)域,從而很好的輔助眼球追蹤功能。
目前還不確定Vision Pro是否會(huì)從算法上過濾眼球運(yùn)動(dòng)數(shù)據(jù)的噪點(diǎn)(無意識(shí)的錯(cuò)誤運(yùn)動(dòng)),不過對(duì)于患有眼球震顫等視力問題的患者,該頭顯還會(huì)提供其他輔助(無需眼球注視)的交互方式。而現(xiàn)階段,Quest Pro似乎還未提供類似的設(shè)計(jì)(當(dāng)然它有手柄),一位眼球震顫患者表示:由于眼球運(yùn)動(dòng)頻繁,Quest Pro并不能準(zhǔn)確識(shí)別注視點(diǎn)意圖。
4. 側(cè)重識(shí)別用戶意圖
視覺是生活中最重要、最常用的人體功能之一,當(dāng)你看真實(shí)世界時(shí),可能會(huì)不斷轉(zhuǎn)動(dòng)眼球,由于我們已經(jīng)足夠熟悉這種交互,很多時(shí)候眼球運(yùn)動(dòng)都是無意識(shí)的。而在注視點(diǎn)追蹤系統(tǒng)中,當(dāng)你主動(dòng)控制眼球運(yùn)動(dòng),可能容易產(chǎn)生視覺疲勞。
為了讓XR頭顯的眼球交互能像現(xiàn)實(shí)生活中一樣自然,蘋果更側(cè)重于識(shí)別用戶的注視意圖,而不是鼓勵(lì)用戶看向特定的位置。
目前基于鍵鼠的PC交互實(shí)際也結(jié)合了注視動(dòng)作,當(dāng)你在2D屏幕做選擇時(shí)首先會(huì)不自覺看向目標(biāo)位置。因此,只要Vision Pro準(zhǔn)確、快速的追蹤用戶的注視意圖,理論上就可以很好的較快輸入效率,而不需要用戶有意識(shí)轉(zhuǎn)動(dòng)眼球選擇。
另一方面,針對(duì)手部不靈活的用戶,Vision Pro也可以只通過眼球動(dòng)作來輔助交互,比如持續(xù)凝視一個(gè)位置等。Bart指出,有大量研究和demo顯示,主動(dòng)眼球交互在部分情況下可以做到足夠舒適(比如停留、追隨移動(dòng)目標(biāo)、特定動(dòng)作姿態(tài)等)。
而在2017年時(shí),一家叫Quantum Interface的公司曾展示了一種有趣的頭部交互方式,特點(diǎn)是基于頭部追蹤,你可以通過移動(dòng)頭部來瞄準(zhǔn),或甩頭展開選項(xiàng)。同理,眼球輸入也可以使用一些簡單的姿態(tài),比如反復(fù)掃視一個(gè)區(qū)域。
為了避免第三方App讀取注視點(diǎn)等生物信息,只有在手勢確認(rèn)時(shí)將注視點(diǎn)信息識(shí)別為交互操作,而手勢追蹤是一種系統(tǒng)級(jí)功能,因此第三方App不能直接讀取用戶實(shí)時(shí)的注視點(diǎn)方向,避免開發(fā)者濫用眼球數(shù)據(jù)來設(shè)計(jì)交互。
也就是說,Vision Pro的眼球追蹤功能主要用于系統(tǒng)交互和優(yōu)化,比如根據(jù)注視點(diǎn)信息可監(jiān)控人眼行為,預(yù)測大腦生物反饋,并在此基礎(chǔ)上可進(jìn)一步優(yōu)化UI等等。
Bart表示:我認(rèn)為,蘋果在眼球交互上有很深刻的思考,Vision Pro采用了一種自然、簡約的眼球交互設(shè)計(jì),相信在足夠的硬件和軟件支持下,能夠?yàn)橛脩粼谙乱庾R(shí)進(jìn)行輸入,而不需要主動(dòng)付出額外努力。
責(zé)任編輯:
相關(guān)稿件
眼球交互vs眼疲勞,前Vision Pro設(shè)計(jì)師揭秘這些細(xì)節(jié)_環(huán)球速看
關(guān)注第三屆四川藝術(shù)節(jié)| 強(qiáng)化川渝藝術(shù)互動(dòng) 本屆藝術(shù)節(jié)將舉辦首屆“川渝喜劇人”大賽-全球熱門
中國國際中小企業(yè)博覽會(huì)將在廣東舉行-動(dòng)態(tài)焦點(diǎn)
全球短訊!楊逍為什么會(huì)彈指神通(年紀(jì)輕輕就是明教左使的楊逍,他的師傅是誰?)
微頭條丨銀川:徹查事故原因,市委已啟動(dòng)問責(zé)程序!最新救治進(jìn)展
去哪兒發(fā)放湖北旅游消費(fèi)券 酒店、景區(qū)最高均可減200元 端午可用
長春破產(chǎn)法庭設(shè)立一周年 充分挽救有價(jià)值的危困企業(yè)
埃米爾向姆巴佩下達(dá)最后通牒!復(fù)訓(xùn)前要么續(xù)約,要么2億歐去皇馬
俄副外長回應(yīng)“馬克龍想?yún)⒓咏鸫u峰會(huì)”:他不是合適的嘉賓
環(huán)球今熱點(diǎn):龍舟出海 端午文化共體驗(yàn)
【世界報(bào)資訊】寧夏銀川燒烤店爆炸事件更多細(xì)節(jié)曝光
安全陣地前移 力量下沉鎮(zhèn)村 我省基層應(yīng)急管理改革在十堰破冰_環(huán)球快消息
天天實(shí)時(shí):內(nèi)蒙古新井煤礦事故失聯(lián)者全部遇難
渾南區(qū)氣象臺(tái)發(fā)布雷電黃色預(yù)警信號(hào)_全球短訊
液化氣罐爆炸背后:動(dòng)輒數(shù)萬的燃?xì)夤艿莱跹b費(fèi)“勸退”商戶
李強(qiáng)同法國總理博爾內(nèi)舉行會(huì)談
端午假期首日,長沙游客雨中排隊(duì),網(wǎng)紅餐廳等位近千桌
當(dāng)前關(guān)注:海爾智家(06690.HK)公布,2023年6月21日耗資454.29萬元回購19.35萬股A股股份
全球第四,印度股市市值大漲!亞洲多國股市走牛,這些基金業(yè)績很亮眼-世界觀速訊
賽克賽斯配送商不負(fù)責(zé)推廣卻參與競標(biāo) 核心經(jīng)銷商或上演高買低賣
報(bào)道:北汽藍(lán)谷: 關(guān)于極狐考拉的上市安排,公司計(jì)劃于三季度末上市并接受預(yù)定
硬盒細(xì)中華多少錢一條_硬盒細(xì)中華價(jià)格多少錢一包
2013年中央電視臺(tái)中秋晚會(huì)_中央電視臺(tái)2014中秋晚會(huì)都有誰 頭條焦點(diǎn)
教育頻道
渾南區(qū)氣象臺(tái)發(fā)布雷電黃色預(yù)警信號(hào)_全球短訊
當(dāng)前關(guān)注:海爾智家(06690.HK)公布,2023年6月21日耗資454.29萬元回購19.35萬股A股股份
簡訊:中國建設(shè)銀行手機(jī)銀行登錄忘記密碼_中國建設(shè)銀行手機(jī)銀行登陸密碼忘記
新商盟官網(wǎng)_新商盟bj xishangmeng_天天速訊
當(dāng)前速看:機(jī)器貓主題曲_機(jī)器貓主題曲介紹
全球今頭條!浙江這個(gè)古鎮(zhèn),一年接待1000萬游客,門票堪比故宮仍供不應(yīng)求
2023年選秀之夜可能發(fā)生的4隊(duì)交易,牽涉到湖人、勇士、快船奇才-天天看點(diǎn)
天天日報(bào)丨攜號(hào)轉(zhuǎn)網(wǎng)移動(dòng)轉(zhuǎn)電信后套餐_攜號(hào)轉(zhuǎn)網(wǎng)移動(dòng)轉(zhuǎn)電信
創(chuàng)建重慶中醫(yī)藥學(xué)院直屬附屬醫(yī)院!區(qū)中醫(yī)院迎專家組評(píng)審


