從Facebook創辦人Mark Zuckerberg宣誓在社群媒體的基礎下,投入5千萬美元打造元宇宙王國,各界熱議如潮,「Metaverse」已成為2021年的科技熱搜名詞。元宇宙是一個連接到現實世界的虛擬實境空間,跳脫虛實定義,使用者可以在其中與電腦生成的環境和其他使用者進行互動,是社會聯繫的下一個演變。
※本文為「從Magic Leap混合實境的GUI設計探討Meta沉浸體驗的UI設計趨勢(一)」之第二部分
圖片來源 : shutterstock、達志影像
透視圖顯示介面的深度及層次變化
利用大小、對比(如圖10所示)、顏色等來凸顯層次感。這些工具仍適用於虛擬實境,但稍有不同。大小取決於使用者與目標物的距離(如圖11所示),內容可以鎖定在環境上,隨著使用者在環境中四處走動,其視野中的內容也在不斷變化。
圖10:利用對比顯示出UI的層次感
藉由將內容分層並將最重要的內容移動到最靠近觀看者的位置,體驗可以非常有效地引導使用者完成複雜的選擇和互動。應注意不要調用太多層,通常不超過四個,以及在當前關卡後面使用模糊的內容來提高可讀性並儘量減少干擾(如圖11、12、13所示)。
圖11:利用透視圖顯示多層次的介面設計
圖12:利用透視圖顯示介面遠近的層次感
圖13:利用透視圖顯示介面遠近的層次感
設計師想要一次顯示所有可能的信息的想法很誘人,但這並不是一個好主意,因為它可能會導致認知超載並使使用者感到沮喪。在 VR/AR 介面設計的案例中,我們特別需要記住,好的UI設計就是要簡單、易懂(如圖14所示)。
圖14:啟動社交的圓形轉盤介面設計
Magic Leap的Lumin OS介面應用程式啟動器的圓形轉盤包含了轉盤上的八個應用程式,以及一個溢出按鈕。我們在一個示例場景可以看到有三個Lanscape應用程式、screens應用程式、一個3D「學習樹」,以及一個照片庫。我們同時可以看到用於在空間環境中放置應用程式,然後關閉應用程式的UI。
圖15:簡單易懂的GUI設計
虛擬化身和表情符號
Magic Leap開放了Avatar Chat社交應用的免費下載。通過眼球和頭部追踪,其中的虛擬化身能夠模擬使用者的表情和動作,比如跟著眨眼、或者跟隨走動。結合手勢識別技術,它們還能夠模仿使用者之間的擊掌和碰拳等打招呼動作。使用者可以在該應用中使用虛擬化身進行交流,還可以插入Emoji表情、分享Gallery圖片庫和Helio AR瀏覽器中的內容。
接下來,也就是最好玩的部分之一:選擇虛擬化身,選定的虛擬化身能夠模擬使用者的手勢和360°旋轉、歪頭等活動,虛擬化身模仿肢體語言的效果近乎實時,說明這款應用作為遠程交流工具性能足夠優秀。除了動作和手勢追踪,使用者說話的表情還可以觸發虛擬化身的表情變化,使用者眨眼的時候虛擬小人也會跟著眨眼。
圖16:Magic leap 的3D虛擬化身設計
圖17:Magic leap的 avatar的表情符號GUI設計
圖18:Magic leap 的 avatar的表情符號UI設計
虛擬化身可以是真實或虛構的人(或生物或擬人化對象)在虛擬環境中的虛擬表示。例如,在兩個使用者在混合現實環境中相互交互的遠程呈現會話期間,觀看者可以在觀看者的環境中感知另一個使用者的虛擬角色,從而創建其他使用者在觀看者的存在中的有形感覺。環境。虛擬化身還可以為使用者提供一種在共享虛擬環境中相互交互和一起做事的方式。例如,參加在線課程的學生可以在虛擬教室中感知代表其他學生或老師的虛擬角色並與之互動。
虛擬化身的面部表情可以使用混合形狀的組合來動畫化。Blendshapes[1]可以使用面向量進行組合,其中向量中的每個值代表單個 blendshape 的設置。blendshape 設置可以表示用於合併該 blendshape 的幅度(或權重)。每個混合形狀可以為虛擬化身的面部添加額外的維度級別,這可以為使用者提供另一種方式來進一步操縱虛擬化身面部網格的變形。因此,每個混合形狀可以被認為是用於動畫虛擬化身的參數。
為了配置與面部表情相關的視覺效果,動畫系統可以使用包括面部表情的二維(2D)投影的地圖。地圖可以是輪子的形狀(例如,類似於圖17所示的表情地圖)或更矩形的佈置(例如,類似於圖18中所示的表情地圖)。該地圖可以作為一個介面來幫助動畫師更直觀地配置動畫,因為動畫師能夠直觀地看到選擇的表情,而不是面部矢量中的一串數字和變量。
在某些情況下,表情地圖也可以用作人(例如,AR/VR/MR設備的使用者)手動控制化身的面部表情(如上所述)的一種方式。例如,AR/VR/MR系統可以利用地圖在化身的不同表情之間動態轉換,通過在地圖中生成並遵循例如初始表情(例如:中性表情)和最終表情之間的軌跡(例如:微笑)。在這個轉換過程中,如果某個事件導致面部表情從最終表情發生變化(例如:化身不是轉換為微笑,而是轉換為驚訝的表情),系統可以動態地改變朝向以自然和現實的方式呈現新的最終表情(例如:驚訝的表情)。
因為虛擬化身可以是實時驅動的(例如,在AR/VR/MR環境中,或者通過遠程計算設備),所以虛擬化身的表情可以實時地從第一表情改變為第二表情表達。從第一個表情到第二個表情的變化可以沿著表情變化軌跡發生。因此,第一或第二表情可以是表情變化軌跡中的中間表情。例如,表情變化軌跡可以包括擔心、恐懼和恐懼,虛擬化身的表情可以從擔心到恐懼再到恐懼。
為了提供不那麼僵硬的過渡並在任何時間點提供從第一表情到第二表情的無縫流動,虛擬化身的動畫系統可以提供表情之間的動態過渡並且允許表情掃過面部,更現實。例如,要從擔心的表情變成開心的表情,系統可以從下巴開始向上掃,從擔心的嘴巴變成微笑,然後擔心的眼睛變成微笑的眼睛,或者係統可以從額頭開始然後掃下,眼睛從擔心變成微笑,然後嘴巴從擔心變成微笑。
圖19:Magic leap 的avatar的表情地圖GUI設計
圖20:Magic leap 的 avatar的表情地圖UI設計
圖21 Magic leap 的 avatar的表情符號轉換示例[2]
備註:
- BlendShapes是一種動畫製作方式,與骨骼動畫相比,它主要應用在很小的局部,比如角色的面部表情。 骨骼只適合控制整體的動作,但太局部的動作使用骨骼製作會非常繁瑣,同時太多的骨骼對性能也有影響。 BlendShapes的原理很簡單,就是在相鄰兩個網格間做插值運算,從一上形狀融合到另一個形狀;或者說是單個網格變形以實現許多預定義形狀和任何數量之間組合的技術。
- 2021年8月31日公告Magic leap的US US11107262B2發明專利「多維空間中的頭像面部表情表示」。
【本文僅反映專家作者意見,不代表本報立場。】
|
|
作者: |
葉雪美(Sherry H.M. Yeh) |
學歷: |
世新大學法律研究所法學碩士
國立成功大學工業設計系學士 |
經歷: |
科技部 研發成果管理審查會委員
經濟部智慧財產局專利一組 簡任專利高級審查官
中央標準局新式樣專利主任審查員(75-76)
中央標準局專利審查委員(80-89)
台灣科技大學 專利所 兼任助理教授 |
著作: |
《美國設計專利侵害認定相關問題研究-兼論我國新式樣專利侵害認定問題》,2004。
《設計專利申請實務-台灣及美國專利申請策略》,元照出版公司,2008。 |
|
|
|
Facebook |
|
在北美智權報粉絲團上追踪我們 |
|
|
|
|
|
|
|