深度：Unity混合現實小組的大牛如何剖析MR【上】

什麼是混合現實研究小組？

混合現實小組是由Dioselin Gonzalez領導的，最近剛剛在Unity Labs內部組建的一個團隊。團隊將會著力研究混合現實以及增強現實在未來幾年裡的影響以及發展；並幫助Unity的開發者們掌握最有前瞻性的遊戲及應用開發戰略。成立混合現實研究小組的原因有很多，不過最核心的目標是希望可以為未來長遠的主流方向新興科技做好準備。此外，成立這個小組的另一個使命是激發開發者和工作室探索新的技術，向他們展示未來的可能性;通過試驗新生事物以超越既定現實的成熟科技。

混合現實MR的原始定義

首先要讓我們弄明白AR,VR,MR以及其他學術名詞。Milgram在1994年的論文《增強現實：現實虛擬連續統的一種表現形式》當中，提出的現實-虛擬連續統（Milgram’s Reality-Virtuality Continuum）。他將真實環境和虛擬環境分別作為連續統的兩端，位於它們中間的被稱為“混合現實（Mixed Reality）”。其中靠近真實環境的是增強現實（Augmented Reality），靠近虛擬環境的則是擴增虛境（Augmented Virtuality）。在這個頻譜範圍內，在同一顯示器上組合（不同程度）真實和虛擬元素的任何東西都被稱為混合現實（MR）體驗。混合現實本身就是一個連續體，它同時包含了增強現實（AR）。

混合現實不只是視覺體驗

現實虛擬連續統的原始定義只考慮了視覺刺激。在2009年，研究人員Seokhee Jeon和Seungmoon Choi將虛擬現實擴展到了觸覺領域。在2軸的連續體中，混合的現實包括結合真實和虛擬視覺或觸覺元素的任何體驗。

Unity Labs的Carte Blanche（CB）研究原型是Oculus Rift應用程序，在這個程序裡虛擬創作台與現實世界的桌子具有一致性。另外，利用觸控控制器API通過振動來模擬觸覺反饋。這些元素使CB成為混合現實體驗，特別是視覺虛擬- 觸覺混合現實（vV-hMR）類。

Joen和Choi的“複合視覺-觸覺現實–視覺虛擬連續統”只包含了最傳統的觸覺和視覺。那麼其他的人類感官方式呢？在過去一段時間，多樣化的沉浸體驗成為了正在進行時的研究課題。早在2003年，日本的Tsukuba大學就有關於味覺和触覺體驗的嘗試；最近的味覺體驗測試發生在新加坡國立大學。此外，一種在虛擬現實環境中生成嗅覺的體係也在超前的進行中。就在今年，一家日本初創公司展示了一款最新的氣味釋放VR頭顯配件。所以，我們是不是應該將更多的元素加入到現實虛擬連續統當中呢？為什麼有的感官像是視覺就很重要，然而有些感官元素就沒有必要呢？

不管在定義中添加了多少維度，Unity混合現實團隊使用混合的實相連續體的概念是為了使我們不會將自己局限於有限的視覺或特定的體驗(比如增強現實)。虛擬現實是虛擬性連續體的一個極端；在那裡，體驗發生在一個可控的純合成的環境中。這樣，它就像電視，廣播，甚至是一本書:你經歷了一段時間，然後回到現實。它是一種逃離現實和體驗非現實世界或遠程世界的方式，因此它提供了豐富的娛樂、教育場景，對於設計新的場景非常重要。但我們相信，混合虛擬和物理沉浸式技術將主導日常的、持續的應用。混合現實將被廣泛使用，它將會作為一種和諧一致的體驗出現在日常生活中——前面提到的Carte Blanche就是一個例子。還有個例子是在現實之上提供一個持久的層，它最終將允許AR取代你的智能手機、電視和其他日常設備。當前的沉浸式技術浪潮始於消費級別的VR頭顯設備。能夠在VR和AR自由切換的設備將成為這一進化的最終步驟。混合現實MR將成為日常生活中最重要的技術，Unity混合現實研究小組的存在就是為了確保Unity能夠將創造者的想像力轉化為真正的體驗。

混合現實未來的展望

我們可以展望在未來五年，隨著顯示像素的提高，將可能提高人們長時間混合顯示設備的使用率。可閱讀文字可能是廣泛使用MR設備最重要的驅使原因。另一方面，簡便切換VR和AR模式將會是另一個重要原因。

混合現實將變得日趨社交化，但是當很多人共處一室的時候，傳感器障礙仍然是一個大問題；但我們可以用更多的混合位置追踪傳感器來解決這個問題。舉個例子，我們將會看到點雲生成芯片上用的LiDAR（光探測與測量技術）和混合現實設備的inside-out追踪技術在一起使用。

未來的混合現實，無線系統和眼部追踪系統將會變得普遍，同時結合無繩傳感器帶來的手部追踪技術一起，以此引領人們逐漸擺脫對電腦的依賴。取而代之，人們將會坐在起居室的桌前，和朋友一起玩虛擬遊戲。隨著虛擬屏幕的激增，人們會窩進沙發看電子競技節目，可以躺在床上玩電子遊戲。這意味著我們必須改變我們對應用程序設計的思維模式，以適應這些新的狀況。

自動數字化角色（像是全系機器人holobot，虛擬形象avatar）在混合現實層將無處不在。例如，語音助手將會擁有和常人無異的情緒化聲音，它們甚至會有一個可視化的形像以便用戶直接和它們進行交互；這個形象可能坐在你身邊也有可能走在你前方為你引導方向。

Unity的混合現實研究組的未來規劃

2017年到2018年，Unity Labs旗下這個新成立的混合現實小組又將會做些什麼呢？在不久前的SIGGRAPH 2017年大會上，Unity向大家預告了一些他們在MR領域將會研究和改進的方向。

1.讓MR應用程序不要變成一次性用品

就像我們前面討論的那樣，MR設備也許最終會取代智能手機。無論是蘋果iOS的ARKit，還是谷歌安卓系統的ARCore，它們都證明了從智能手機到完整MR設備的過渡已經開始。隨著設備的出現，移動應用市場已經達到成熟度，從而引發了飽和問題。通常，人們在下載後只使用一次應用程序，隨著時間的推移，他們慢慢忘記了它們。

移動產業最受歡迎的遊戲應用，人們花在上面的時間每年都在以百分之四的概率下降；

蘋果手機出現的十年後，現在的移動手機產業可以說是競爭非常激烈了。增長率的銳減，預示著市場的成熟和飽和以及應用程序淘金熱的結束。

在一個已經達到飽和的世界中，“1內容/服務= 1移動應用”的業務模式已經不復存在，AR去代替過去的平面應用程序也不足以成為解決方案。所有品牌/公司/初創公司都將嘗試尋找其他向量與消費者互動。Unity小組旨在讓MR應用程序利用率更高，有效減少一次性應用程序。正如我們的同事Mauricio Vergara所說，“隨著沉浸式算法的普及，實時3D圖形將成為我們與世界互動的新方式。”

2.讓MR超越現有觀念

到目前為止，MR應用主要設計為單獨和單次使用的實驗。因此，許多今天的用戶場景有些局限，似乎傾向於創新，而不是採用解決方案。

在Mike Elgan的文章《為什麼谷歌和蘋果將會統治混合現實》中說道：“最令人興奮的混合現實體驗涉及環境的實時3D映射，使得虛擬對象能夠與現實世界中的表面和對象進行交互。例如，計算機生成的生物，可以站在桌子上，或隱藏在桌面上。”

為了創造明天的用途，我們必須改變觀點，問自己有趣的問題：當我們閉上眼睛時，現實會消失嗎？將來，設備可能不再可以用於生成沙盒現實，而是設備將是將用戶連接到持久性現實層的工具。例如，博物館可以圍繞傑作創建交互式的標題，餐廳可以在桌子等上顯示互動菜單。可能性是無止境的，在未來，用戶只需要在正確的地方利用增強層。像Google的視覺定位服務（VPS）這樣的平台，可以快速，準確地進行室內位置的映射和理解，將有助於在任何地方提供無縫擴充的體驗。混合現實研究小組將研究創造型的工具，幫助用戶和開發人員保持最新的思維與視角。

3.讓MR更具社交性

目前大多數混合現實體驗都不具備足夠的社交成分，最終成為了用戶和觀察者的孤獨體驗。去年有一些值得注意的社交VR應用程序，但社交增強現實體驗更難創造，而且還處於起步階段。通常，即使觀察者與參與者在同一個房間，這個觀察者很難想像用戶的體驗，因為他們通常看不到任何東西。

在過去的幾個月裡，我們在活動期間觀察到許多增強現實的用戶;我們的結論是，他們感到無聊，不再與佩戴者互動，忽視他們，因為他們不再是現實的一部分。要記住，VR的普及不是來自嘗試VR HMD本身的人，而是來自在YouTube上使用“混合現實視圖”進行演示的人。觀看的人之所以產生興趣是因為看到了既能看到演示內容，又可以看到用戶反應。

馬克·比靈赫斯特（Mark Billinghurst）告訴我們，增強現實可以帶來移情計算：“系統將允許我們和他人分享我們的所見所聞以及所感”。這是一個驚人的想法，就像獲得了一種超級能力，但是，它是有代價的。增加社交元素自然會引發關於隱私和自由的問題，這將是沉浸式技術的未來的大問題。無論是工程師，藝術家，設計師還是政策制定者，我們都需要去思考隱私和自由的問題。由於MR技術在十年內可能發展得鋪天蓋地，所以現在我們就應該開始考慮MR社交化的影響，並作出行動。

4.讓MR引領遊戲創作新時代

遊戲創作的未來從未如此光明。MR帶來了一個全新的時代，充滿了新型遊戲和新的遊戲方式。Unity一直在遊戲製作領域有著獨特的地位，影響著未來。混合現實研究組將致力於研究遊戲在這個混合現實的新時代如何演變。遊戲怎麼玩？什麼時候玩？在地點和參與方面將持續多久？如何創建？這些重要的問題，都將會在混合現實中找到答案。不過，Unity的核心優勢在於開發人員社區，Unity混合現實小組所做的工作都是為了幫助開發者在這個新世界中成功地制定一個具體的計劃。我們將參與Unity內的其他團隊，創建新的和改進的MR集中開發工具，這將有助於推動用戶的成功。MR小組將會與其他Unity團隊合作，並聚焦在創建和改進混合現實開發工具，以此推動Unity的用戶獲得成功！

歡迎鎖定ARinChina，不久後我們將更新《Unity混合現實小組的大牛如何剖析MR》第二部分和第三部分內容。