原來AR+3D技術(shù)還能這樣玩!9種AR/VR人機(jī)互動(dòng)的原理解讀來了,
現(xiàn)在的世界，如果你看到一個(gè)人帶著面罩，手上拿著一個(gè)工具在揮動(dòng)著手，你也不要感到驚訝，他們只是在創(chuàng)作，在繪畫！沒錯(cuò)，他們是透過VR虛擬實(shí)景來作畫！以前在白紙或畫布上作畫，或者透過photoshop或AI軟件來設(shè)計(jì)圖 看來已經(jīng)過時(shí)了，藝術(shù)創(chuàng)作者如今可以透過VR在立體空間里自由作畫，創(chuàng)作空間頓時(shí)從平面的2D轉(zhuǎn)換成3D，整個(gè)層次都不一樣了。
虛擬現(xiàn)實(shí)技術(shù)是仿真技術(shù)的一個(gè)重要方向，是仿真技術(shù)與計(jì)算機(jī)圖形學(xué)、人機(jī)接口技術(shù)、多媒體技術(shù)、傳感技術(shù)、網(wǎng)絡(luò)技術(shù)等多種技術(shù)的集合，是一門富有挑戰(zhàn)性的交叉技術(shù)前沿學(xué)科和研究領(lǐng)域。
用沉浸式VR，不僅帶入感強(qiáng)，還有高度的沉浸感，良好的交互手段，可以融合視覺、觸覺、聲音等。學(xué)生可通過手里的筆刷和工具的幫助，畫出學(xué)生們自己想象的畫面。對(duì)于學(xué)生而言，大概沒有什么比“走進(jìn)”繪畫場(chǎng)景，體驗(yàn)一場(chǎng)身臨其境的創(chuàng)作體驗(yàn)更加刺激的了，學(xué)生通過場(chǎng)景可選擇自己喜歡的名畫，如梵高的《星空》、張擇端《清明上河圖》、達(dá)利的《米勒<晚禱>之考古學(xué)回憶》、步魯蓋爾的《反叛天使的墮落》等等。
虛擬現(xiàn)實(shí)技術(shù)（VR）主要包括模擬環(huán)境、感知、自然技能和傳感設(shè)備等方面。模擬環(huán)境是由計(jì)算機(jī)生成的、實(shí)時(shí)動(dòng)態(tài)的三維立體逼真圖像。感知是指理想的VR應(yīng)該具有一切人所具有的感知。除計(jì)算機(jī)圖形技術(shù)所生成的視覺感知外，還有聽覺、觸覺、力覺、運(yùn)動(dòng)等感知，甚至還包括嗅覺和味覺等，也稱為多感知。自然技能是指人的頭部轉(zhuǎn)動(dòng)，眼睛、手勢(shì)、或其他人體行為動(dòng)作，由計(jì)算機(jī)來處理與參與者的動(dòng)作相適應(yīng)的數(shù)據(jù)，并對(duì)用戶的輸入作出實(shí)時(shí)響應(yīng)，并分別反饋到用戶的五官。傳感設(shè)備是指三維交互設(shè)備。
通過VR桌面交互系統(tǒng)調(diào)取編輯好的課件內(nèi)容，師生可通過硬件設(shè)備在構(gòu)建的虛擬、可交互教學(xué)環(huán)境中進(jìn)行沉浸式學(xué)習(xí)，實(shí)現(xiàn)多屏同步教學(xué)與多人協(xié)同實(shí)訓(xùn)。形成了一個(gè)以教師、學(xué)生、知識(shí)為閉環(huán)的結(jié)構(gòu)體。學(xué)生通過對(duì)“邏輯的”、“教學(xué)的”或“過程的”模擬，在最大程度上反應(yīng)客觀世界知識(shí)體系，演示出真實(shí)的知識(shí)場(chǎng)景，啟發(fā)和引導(dǎo)學(xué)生的動(dòng)手能力、鼓勵(lì)學(xué)生通過知識(shí)大膽設(shè)計(jì)、敢于創(chuàng)新，輕松便捷的在虛擬系統(tǒng)中不斷完善自己的創(chuàng)意和發(fā)明。
增強(qiáng)現(xiàn)實(shí)（Augmented Reality，簡(jiǎn)稱AR），也被稱為擴(kuò)增現(xiàn)實(shí)（中國(guó)臺(tái)灣地區(qū)）。它是一種將真實(shí)世界信息和虛擬世界信息“無縫”集成的新技術(shù)，是把原本在現(xiàn)實(shí)世界的一定時(shí)間空間范圍內(nèi)很難體驗(yàn)到的實(shí)體信息（視覺信息，聲音，味道，觸覺等），通過電腦等科學(xué)技術(shù)，模擬仿真后再疊加，將虛擬的信息應(yīng)用到真實(shí)世界，被人類感官所感知，從而達(dá)到超越現(xiàn)實(shí)的感官體驗(yàn)。真實(shí)的環(huán)境和虛擬的物體實(shí)時(shí)地疊加到了同一個(gè)畫面或空間同時(shí)存在。
2D 到 3D 的轉(zhuǎn)變
10 年前，喬布斯帶來了全觸控屏幕的第一代 iPhone，一句“You can touch your music！”生動(dòng)形象地描述了這一開創(chuàng)性的交互方式——多點(diǎn)觸控。我們的生活中也開始被各種電子屏幕包圍，比如智能手機(jī)、平板電腦以及各種穿戴式設(shè)備，它們呈現(xiàn)著豐富多彩的信息。很多設(shè)計(jì)師的日常，也是跟一塊一塊屏幕“打交道”，用圖像、色彩、文字等構(gòu)建出各種樣式的界面，所有信息都被井井有條地排布在屏幕內(nèi)。
人與機(jī)器存在天生的隔閡，圖形用戶界面和交互方式的不斷革新正讓這個(gè)隔閡變得越來越小，但始終未能打破這層隔閡，哪怕是 iPhone。而直到 AR 眼鏡（頭盔）出現(xiàn)之后，這些內(nèi)容才有了“跨越”屏幕的可能，并跟真實(shí)的世界“融為一體”。人機(jī)交互界面，也開始從 2D 向 3D 跨越。（這里的“3D”不是指 3D 模型，而是整個(gè)三維空間。）
3D 化思維
很多事情往往都是說起來容易做起來難，即使我反復(fù)提醒自己是基于 3D 來設(shè)計(jì)界面，但在日常工作中還是會(huì)掉入 2D 的“坑”。也許是深受 2D 界面設(shè)計(jì)的影響，我在紙上繪制原型時(shí)必定先繪制一個(gè)方框作為 AR 眼鏡的 FOV（Field of View，可視區(qū)域），就好像設(shè)計(jì)手機(jī)應(yīng)用時(shí)必須先畫一個(gè)屏幕一樣。而這樣的設(shè)計(jì)方式很容易變得像在設(shè)計(jì)單純的手機(jī)應(yīng)用一樣，在真機(jī)的上驗(yàn)證結(jié)果也很不理想。
3D 界面有著區(qū)別于 2D 界面特殊的屬性，所以在設(shè)計(jì)上需要考慮更多，包括但不限于以下內(nèi)容：
交互空間：空間大小、平面類型、遮擋關(guān)系
輸入方式：語音、手勢(shì)、控制器、外部傳感器
呈現(xiàn)信息類型：3D模型、圖片、2D界面
音效：空間音效、界面反饋音效
信息與環(huán)境的融合方式：無中生有、真實(shí)物體與虛擬信息疊加、遮擋真實(shí)環(huán)境
1.動(dòng)作捕捉
用戶想要獲得完全的沉浸感，真正“進(jìn)入”虛擬世界，動(dòng)作捕捉系統(tǒng)是必須的。目前專門針對(duì)VR的動(dòng)捕系統(tǒng)，目前市面上可參考的有 PercepTIon Neuron，其他的要么是昂貴的商用級(jí)設(shè)備，要么完全是霧件（意為在開發(fā)完成前就開始進(jìn)行宣傳的產(chǎn)品，也許宣傳的產(chǎn)品根本就不會(huì)問世）。但是這樣的動(dòng)作捕捉設(shè)備只會(huì)在特定的超重度的場(chǎng)景中使用，因?yàn)槠溆泄逃械囊子眯蚤T檻，需要用戶花費(fèi)比較長(zhǎng)的時(shí)間穿戴和校準(zhǔn)才能夠使用。相比之下，Kinect這樣的光學(xué)設(shè)備在某些對(duì)于精度要求不高的場(chǎng)景可能也會(huì)被應(yīng)用。
全身動(dòng)捕在很多場(chǎng)合并不是必須的，它的另一個(gè)問題，在于沒有反饋，用戶很難感覺到自己的操作是有效的，這也是交互設(shè)計(jì)的一大痛點(diǎn)。
2. 觸覺反饋
這里主要是按鈕和震動(dòng)反饋，這就是下面要提到的一大類，虛擬現(xiàn)實(shí)手柄。目前三大VR頭顯廠商Oculus、索尼、HTC Valve都不約而同的采用了虛擬現(xiàn)實(shí)手柄作為標(biāo)準(zhǔn)的交互模式：兩手分立的、6個(gè)自由度空間跟蹤的（3個(gè)轉(zhuǎn)動(dòng)自由度3個(gè)平移自由度），帶按鈕和震動(dòng)反饋的手柄。這樣的設(shè)備顯然是用來進(jìn)行一些高度特化的游戲類應(yīng)用的（以及輕度的消費(fèi)應(yīng)用），這也可以視作一種商業(yè)策略，因?yàn)閂R頭顯的早期消費(fèi)者應(yīng)該基本是游戲玩家。
但是，這樣高度特化/簡(jiǎn)化的交互設(shè)備的優(yōu)勢(shì)顯然是能夠非常自如地在諸如游戲等應(yīng)用中使用，但是它無法適應(yīng)更加廣泛的應(yīng)用場(chǎng)景。
3 .眼球追蹤
提起VR領(lǐng)域最重要的技術(shù)，眼球追蹤技術(shù)絕對(duì)值得被從業(yè)者們密切關(guān)注。Oculus創(chuàng)始人帕爾默?拉奇就曾稱其為“VR的心臟”，因?yàn)樗鼘?duì)于人眼位置的檢測(cè)，能夠?yàn)楫?dāng)前所處視角提供最佳的3D效果，使VR頭顯呈現(xiàn)出的圖像更自然，延遲更小，這都能大大增加可玩性。同時(shí)，由于眼球追蹤技術(shù)可以獲知人眼的真實(shí)注視點(diǎn)，從而得到虛擬物體上視點(diǎn)位置的景深。所以，眼球追蹤技術(shù)被大部分VR從業(yè)者認(rèn)為將成為解決虛擬現(xiàn)實(shí)頭盔眩暈病問題的一個(gè)重要技術(shù)突破。但是，盡管眾多公司都在研究眼球追蹤技術(shù)，但仍然沒有一家的解決方案令人滿意。
超多維SuperD公司圖形圖像算法中心主管培云認(rèn)為，VR的眼球追蹤可利用類似tobii眼動(dòng)儀的設(shè)備實(shí)現(xiàn)，但前提是解決設(shè)備的體積和功耗。事實(shí)上，在業(yè)內(nèi)人看來，從眼球追蹤技術(shù)本身來說，雖然在VR上有一些限制，但可行性還是比較高的，比如外接電源、將VR的結(jié)構(gòu)設(shè)計(jì)做的更大等。但更大的挑戰(zhàn)在與通過調(diào)整圖像來適應(yīng)眼球的移動(dòng)，這些圖像調(diào)整的算法目前來說都是空白的。有兩個(gè)指標(biāo)，一是圖像自然真實(shí)，二是快速延遲小。這對(duì)VR+眼球追蹤提出了更高的要求，如果達(dá)到這兩點(diǎn)，VR的可玩性會(huì)再提高一個(gè)檔次。
4. 肌電模擬
關(guān)于這個(gè)我們通過一個(gè)VR拳擊設(shè)備Impacto來說明，Impacto結(jié)合了觸覺反饋和肌肉電刺激精確模擬實(shí)際感覺。具體來說，Impacto設(shè)備分為兩部分。一部分是震動(dòng)馬達(dá)，能產(chǎn)生震動(dòng)感，這個(gè)在一般的游戲手柄中可以體驗(yàn)到；另外一部分，也是最有意義的部分，是肌肉電刺激系統(tǒng)，通過電流刺激肌肉收縮運(yùn)動(dòng)。兩者的結(jié)合能夠給人們帶來一種錯(cuò)覺，誤以為自己擊中了游戲中的對(duì)手，因?yàn)檫@個(gè)設(shè)備會(huì)在恰當(dāng)?shù)臅r(shí)候產(chǎn)生類似真正拳擊的“沖擊感”。
然而，業(yè)內(nèi)人士對(duì)于這個(gè)項(xiàng)目有些爭(zhēng)議，目前的生物技術(shù)水平無法利用肌肉電刺激來高度模擬實(shí)際感覺。即使采用這種方式，以目前的技術(shù)能實(shí)現(xiàn)的也是比較粗糙的感覺，這種感覺對(duì)于追求沉浸感的VR也沒有太多用處，“還不如震動(dòng)馬達(dá)”。還有一位從事疼痛緩解理療儀的朋友表示，利用肌肉電刺激來模擬真實(shí)感覺需要克服的問題有很多，因?yàn)樯窠?jīng)通道是一個(gè)精巧而復(fù)雜的結(jié)構(gòu)，從外部皮膚刺激是不太可能的，但是“隨便”電刺激一下讓肌肉運(yùn)動(dòng)以當(dāng)做反饋是可以的。
5 .手勢(shì)跟蹤
使用手勢(shì)跟蹤作為交互可以分為兩種方式：第一種是使用光學(xué)跟蹤，比如Leap MoTIon和NimbleVR這樣的深度傳感器，第二種是將傳感器戴在手上的數(shù)據(jù)手套。
光學(xué)跟蹤的優(yōu)勢(shì)在于使用門檻低，場(chǎng)景靈活，用戶不需要在手上穿脫設(shè)備，未來在一體化移動(dòng)VR頭顯上直接集成光學(xué)手部跟蹤用作移動(dòng)場(chǎng)景的交互方式是一件很可行的事情。但是其缺點(diǎn)在于視場(chǎng)受局限，以及我們之前所提到的兩個(gè)基本問題：需要用戶付出腦力和體力才能實(shí)現(xiàn)的交互是不會(huì)成功的，使用手勢(shì)跟蹤會(huì)比較累而且不直觀，沒有反饋。這需要良好的交互設(shè)計(jì)才能彌補(bǔ)。
數(shù)據(jù)手套，一般在手套上集成了慣性傳感器來跟蹤用戶的手指乃至整個(gè)手臂的運(yùn)動(dòng)。它的優(yōu)勢(shì)在于沒有視場(chǎng)限制，而且完全可以在設(shè)備上集成反饋機(jī)制（比如震動(dòng)，按鈕和觸摸）。它的缺陷在于使用門檻較高：用戶需要穿脫設(shè)備，而且作為一個(gè)外設(shè)其使用場(chǎng)景還是受局限：就好比說在很多移動(dòng)場(chǎng)景中不太可能使用鼠標(biāo)。不過這些問題都沒有技術(shù)上的絕對(duì)門檻，完全可以想象類似于指環(huán)這樣的高度集成和簡(jiǎn)化的數(shù)據(jù)手套在未來的VR產(chǎn)業(yè)中出現(xiàn)，用戶可以隨身攜帶隨時(shí)使用。
這兩種方式各有優(yōu)劣，可以想見在未來這兩種手勢(shì)跟蹤在很長(zhǎng)一段時(shí)間會(huì)并存，用戶在不同的場(chǎng)景（以及不同的偏好）使用不同的跟蹤方式。
6. 方向追蹤
方向追蹤除了可以用來瞄點(diǎn)，還可以用來控制用戶在VR中的前進(jìn)方向。不過，如果用方向追蹤調(diào)整方向的話很可能會(huì)有轉(zhuǎn)不過去的情況，因?yàn)橛脩舨豢偸亲谀軌?60度旋轉(zhuǎn)的轉(zhuǎn)椅上的，可能很多情況下都會(huì)空間受限。比如頭轉(zhuǎn)了90度接著再轉(zhuǎn)身體，加起來也很難轉(zhuǎn)過180度……所以，這里“空間受限無法轉(zhuǎn)身是一個(gè)需求”，于是交互設(shè)計(jì)師給出了解決方案——按下鼠標(biāo)右鍵則可以讓方向回到原始的正視方向或者叫做重置當(dāng)前凝視的方向（就是你最初始時(shí)候面向的那個(gè)方向），或者可以通過搖桿調(diào)整方向，或按下按鈕回到初始位置。
但問題還是存在的，以用戶面朝的方向作為行走方向比起鍵鼠和gamepad，轉(zhuǎn)向和視覺相匹配極大地增強(qiáng)了沉浸感，但是卻有可能玩得很累，削弱了舒適性。
7. 語音交互
在VR中海量的信息淹沒了用戶，他不會(huì)理會(huì)視覺中心的指示文字，而是環(huán)顧四周不斷發(fā)現(xiàn)和探索。如果這時(shí)給出一些圖形上的指示還會(huì)干擾到他們?cè)赩R中的沉浸式體驗(yàn)，所以最好的方法就是使用語音，和他們正在觀察的周遭世界互不干擾。這時(shí)如果用戶和VR世界進(jìn)行語音交互，會(huì)更加自然，而且它是無處不在無時(shí)不有的，用戶不需要移動(dòng)頭部和尋找它們，在任何方位任何角落都能和他們交流。
8 .傳感器
傳感器能夠幫助人們與多維的VR信息環(huán)境進(jìn)行自然地交互。比如，人們進(jìn)入虛擬世界不僅僅是想坐在那里，他們也希望能夠在虛擬世界中到處走走看看，比如萬向跑步機(jī)，目前Virtuix，Cyberith和國(guó)內(nèi)的KAT都在研發(fā)這種產(chǎn)品。然而體驗(yàn)過的人都反應(yīng)過，這樣的跑步機(jī)實(shí)際上并不能夠提供接近于真實(shí)移動(dòng)的感覺，目前體驗(yàn)并不好。還有的想法是使用腳上的慣性傳感器使用原地走代替前進(jìn)，比如StompzVR。還比如全身VR套裝Teslasuit，戴上這套裝備，可以切身感覺到虛擬現(xiàn)實(shí)環(huán)境的變化，比如可感受到微風(fēng)的吹佛，甚至是射擊游戲中還能感受到中彈的感覺。
這些都是由設(shè)備上的各種傳感器產(chǎn)生的，比如智能感應(yīng)環(huán)、溫度傳感器、光敏傳感器、壓力傳感器、視覺傳感器等，能夠通過脈沖電流讓皮膚產(chǎn)生相應(yīng)的感覺，或是把游戲中觸覺、嗅覺等各種感知傳送到大腦。但是，目前已有的應(yīng)用傳感器的設(shè)備體驗(yàn)度都不高，在技術(shù)上還需要做出很多突破。
9. 一個(gè)真實(shí)場(chǎng)地
就是造出一個(gè)與虛擬世界的墻壁、阻擋和邊界等完全一致的可自由移動(dòng)的真實(shí)場(chǎng)地，比如超重度交互的虛擬現(xiàn)實(shí)主題公園The Void就采用了這種途徑，它是一個(gè)混合現(xiàn)實(shí)型的體驗(yàn)，把虛擬世界構(gòu)建在物理世界之上，讓使用者能夠感覺到周圍的物體并使用真實(shí)的道具，比如手提燈、劍、槍等，中國(guó)媒體稱之為“地表最強(qiáng)娛樂設(shè)施”。
這種真實(shí)場(chǎng)地通過仔細(xì)的規(guī)劃關(guān)卡和場(chǎng)景設(shè)計(jì)就能夠給用戶帶來種種外設(shè)所不能帶來的良好體驗(yàn)。但規(guī)模及投入較大，且只能適用于特定的虛擬場(chǎng)景，在場(chǎng)景應(yīng)用的廣泛性上受限。
結(jié)束語
虛擬現(xiàn)實(shí)是一場(chǎng)交互方式的新革命，人們正在實(shí)現(xiàn)由界面到空間的交互方式變遷。未來多通道的交互將是VR時(shí)代的主流交互形態(tài)，目前，VR交互的輸入方式尚未統(tǒng)一，市面上的各種交互設(shè)備仍存在各自的不足。
業(yè)內(nèi)專家表示，短期內(nèi)VR發(fā)展仍靠技術(shù)紅利推動(dòng)，交互技術(shù)將成關(guān)鍵。同時(shí)，在硬件性能趨同的背景下，交互技術(shù)將構(gòu)成差異化競(jìng)爭(zhēng)力。在產(chǎn)業(yè)鏈方面，“交互算法是關(guān)鍵，下游應(yīng)用空間廣”，整個(gè)輸入設(shè)備產(chǎn)業(yè)鏈主要由上游的元器件生產(chǎn)商（主要以傳感器、芯片生產(chǎn)商為主），中游的輸入設(shè)備制造商、交互方案提供商組成，下游則以游戲、影視、主題公園及其他企業(yè)級(jí)應(yīng)用為主。他們表示，未來傳感器的供應(yīng)問題將在國(guó)外廠商授權(quán)部分國(guó)內(nèi)廠商生產(chǎn)等因素下得到部分解決，屆時(shí)具備領(lǐng)先自主算法技術(shù)的交互解決方案提供商將日趨重要。
以上就是100唯爾(100vr.com)小編為您介紹的關(guān)于AR的知識(shí)技巧了，學(xué)習(xí)以上的原來AR+3D技術(shù)還能這樣玩!9種AR/VR人機(jī)互動(dòng)的原理解讀來了,知識(shí)，對(duì)于AR的幫助都是非常大的，這也是新手學(xué)習(xí)職教新聞所需要注意的地方。如果使用100唯爾還有什么問題可以點(diǎn)擊右側(cè)人工服務(wù)，我們會(huì)有專業(yè)的人士來為您解答。
本站在轉(zhuǎn)載文章時(shí)均注明來源出處，轉(zhuǎn)載目的在于傳遞更多信息，未用于商業(yè)用途。如因本站的文章、圖片等在內(nèi)容、版權(quán)或其它方面存在問題或異議，請(qǐng)與本站聯(lián)系(電話：0592-5551325，郵箱：help@onesoft.com.cn)，本站將作妥善處理。
向客服提問AR課程推薦
職教新聞熱門資料
職教新聞技術(shù)文檔
- 1?呼和浩特工務(wù)段卓資東高鐵實(shí)訓(xùn)場(chǎng)建設(shè)項(xiàng)目議價(jià)采購(gòu)二次公告
- 2鐵小微帶你看:大南鐵國(guó)家高鐵實(shí)訓(xùn)基地,超牛!
- 3尚義職教中心首屆高鐵專業(yè)學(xué)生赴北京實(shí)習(xí)實(shí)訓(xùn)
- 4技能展示 | 高鐵專業(yè)實(shí)訓(xùn)技能展示
- 5磨礪青春、出彩中職——高鐵專業(yè)實(shí)訓(xùn)風(fēng)采
- 6陜西長(zhǎng)城鐵路技師學(xué)院,一所把高鐵實(shí)訓(xùn)搬進(jìn)課堂的高等院校
- 7喜訊!喜訊!1:1仿真高鐵實(shí)訓(xùn)設(shè)備進(jìn)入梧州電子科技學(xué)校
- 8云南工程職業(yè)學(xué)院高鐵實(shí)訓(xùn)基地建成啟用
- 9高鐵實(shí)訓(xùn)課走進(jìn)無錫東站!
- 10職教標(biāo)準(zhǔn)I高等職業(yè)學(xué)校城市軌道交通通信信號(hào)技術(shù)教學(xué)標(biāo)準(zhǔn)
推薦閱讀
