豆瓣評(píng)分高達(dá)8.6分的《元宇宙2086》一書，帶領(lǐng)讀者暢游了未來虛實(shí)共生的數(shù)字平行世界，并指引我們成為元宇宙網(wǎng)絡(luò)的創(chuàng)世居民。在那個(gè)虛實(shí)相融、亦真亦幻的新社會(huì)形態(tài)中，未來的我們開啟著與現(xiàn)在完全不同的“煥新人生”。

事實(shí)上，無論是在互聯(lián)網(wǎng)，還是在XR時(shí)代的元宇宙，人類始終是主角。唯一發(fā)生變化的，是展現(xiàn)個(gè)人主體的形式大相徑庭。在互聯(lián)網(wǎng)時(shí)代，我們是以一串或簡單或復(fù)雜的ID存在于網(wǎng)絡(luò)上。而在XR時(shí)代，我們活躍在元宇宙中的方式又會(huì)變得怎樣精彩紛呈？

就在6月23日，國內(nèi)專注于人機(jī)交互技術(shù)的知名產(chǎn)品平臺(tái)公司Rokid，帶來了一幅引人遐想的新畫卷。通過軟件產(chǎn)品演示分享會(huì)，Rokid從XR交互引擎、XR系統(tǒng)框架、XR創(chuàng)新應(yīng)用、AI算法應(yīng)等層面，相繼演示數(shù)字人、手勢(shì)交互、YodaOS國際化、全息空間2.0、Open XR、MSpace、Light(WebXR)、AR導(dǎo)航、6DoF空間聲場技術(shù)、全新端到端ASR算法等最新成果。

發(fā)布3D數(shù)字人技術(shù)

讓用戶“捏”個(gè)活靈活現(xiàn)的自己

無論是在怎樣的世界載體，人們追求個(gè)性的訴求始終存在。如果說互聯(lián)網(wǎng)時(shí)代展現(xiàn)個(gè)性只能用頭像、ID等方式，那么在元宇宙中，人們將為自己定制一個(gè)獨(dú)一無二的形象。為了滿足這一訴求，本次軟件產(chǎn)品演示分享會(huì)帶來了Rokid數(shù)字人最新技術(shù)成果——豐富可擴(kuò)展的3D數(shù)字人模型和數(shù)字人引擎。

通過不同設(shè)計(jì)的眉毛、眼睛、鼻子、嘴巴、臉型以及裝扮，Rokid 3D數(shù)字人模型支持用戶通過“捏臉”和換妝的方式，定制專屬自己的形象。

目前，Rokid數(shù)字人模型已基本滿足亞洲用戶群體，未來的數(shù)字人模型將以更多五官分類組合、膚色、發(fā)型、發(fā)色以及不同地域風(fēng)格的服裝等，讓不同國家和地區(qū)的用戶都可以擁有專屬數(shù)字形象。

首創(chuàng)單目RGB攝像頭

實(shí)現(xiàn)2D、3D手勢(shì)交互

目前主流的AR眼鏡一般都用ToF或多目攝像頭來實(shí)現(xiàn)手勢(shì)交互，但Rokid為面向未來的XR設(shè)備打造的方案僅通過單顆RGB攝像頭和高幀率IMU傳感器的VIO方法獲得穩(wěn)定性好、精確度高的6DoF追蹤效果，而且基于同一顆攝像頭相機(jī)共享數(shù)據(jù)，還可以用于完成自然、靈動(dòng)的手勢(shì)交互體驗(yàn)。

本次軟件產(chǎn)品演示分享會(huì)，Rokid技術(shù)團(tuán)隊(duì)就演示了全新升級(jí)的單目2D RGB手勢(shì)交互技術(shù)，并帶來了單目3D RGB手勢(shì)交互技術(shù)的最新成果。其中，單目2D RGB手勢(shì)交互實(shí)現(xiàn)了雙手聯(lián)動(dòng)、虛空觸發(fā)以及抬拉拖拽等互動(dòng)，實(shí)現(xiàn)了更高的靈活度和更自然的交互。

基于深度學(xué)習(xí)算法和大量先驗(yàn)數(shù)據(jù)，使得使用單目RGB來重建3D Hand成為了可能。Rokid自研的單目3D手勢(shì)算法能在移動(dòng)端實(shí)時(shí)重建手部姿態(tài)參數(shù)，包括手部6DoF，手部關(guān)節(jié)點(diǎn)26DoF，以及Hand Mesh信息，為AR的手勢(shì)交互提供良好的算法基礎(chǔ)。

MSpace再升級(jí)

Light(WebXR)、AR導(dǎo)航原生應(yīng)用發(fā)布

在打造強(qiáng)有力的XR交互引擎的同時(shí)，Rokid技術(shù)團(tuán)隊(duì)還帶來了Light(WebXR)、AR導(dǎo)航原生應(yīng)用，并對(duì)MSpace進(jìn)行了重要更新。

① Light(WebXR)

實(shí)現(xiàn)Web端XR開發(fā)者和應(yīng)用的輕松接入

市面上豐富的云游戲庫，該如何通過Rokid AR玩起來？如何戴著Rokid AR看電影、看小說、逛論壇、瀏覽網(wǎng)頁？輕量級(jí)內(nèi)容聚合平臺(tái)——Light(WebXR)重磅亮相，一站式解決用戶多種需求。

② MSpace

通過虛擬化身+空間聲場技術(shù)，打造更真實(shí)的臨場感

作為XR時(shí)代的原生應(yīng)用，MSpace具備屏幕共享、3D內(nèi)容協(xié)作、虛擬分身等核心能力。在此次軟件產(chǎn)品演示分享會(huì)中，Rokid技術(shù)團(tuán)隊(duì)帶來了融合聲場渲染、虛擬分身驅(qū)動(dòng)、空間協(xié)同、全息渲染等技術(shù)的升級(jí)版MSpace，實(shí)現(xiàn)了實(shí)時(shí)音頻驅(qū)動(dòng)虛擬分身的口型、表情與動(dòng)作，讓虛擬分身更形象生動(dòng)。同時(shí)，升級(jí)版MSpace還支持空間中公有物體同步操作、私有物體隨心操作，虛擬物體準(zhǔn)確放置并能實(shí)現(xiàn)身臨其境的光影效果。

更臨場感的導(dǎo)航體驗(yàn)，迷路星人再也不迷糊

手機(jī)導(dǎo)航不方便，傳統(tǒng)的2D圖標(biāo)+單眼AR導(dǎo)航，不僅視角受限，提示還不夠明顯，AR導(dǎo)航急需革新！

在此次軟件產(chǎn)品演示分享會(huì)中，Rokid技術(shù)團(tuán)隊(duì)就演示了圍繞立體感、臨場感和沉浸感為用戶打造的身臨其境、指哪去哪的AR導(dǎo)航體驗(yàn)。

相較于傳統(tǒng)單眼模式，雙目AR導(dǎo)航會(huì)讓視覺在一定程度上減少和現(xiàn)實(shí)的割裂感，另外這款應(yīng)用還采用了近大遠(yuǎn)小的空間透視關(guān)系和全局實(shí)時(shí)光照投影，能大幅度提升使用者的沉浸感。

高能AI算法

一場關(guān)于技術(shù)變革的深度較量

在高能體驗(yàn)的背后，都離不開強(qiáng)有力的算法支持。Rokid算法工程師的日常總是在極致中追求革新，落地人們關(guān)于元宇宙的一切暢想。此次，Rokid就公開發(fā)布包括Atauro Audio(6DoF空間聲場)以及全新端到端ASR算法等最新成果，從聲、形等多方面推動(dòng)AR和AI技術(shù)革新。

①Atauro Audio(6DoF空間聲場)

讓耳朵也進(jìn)入元宇宙

在眼鏡之后，耳朵也要進(jìn)入元宇宙啦！通過6DoF空間聲場技術(shù)，Rokid正在實(shí)現(xiàn)關(guān)于“聲臨其境”的變革。6DoF空間聲場是聲音在三維領(lǐng)域的體現(xiàn)，不同于傳統(tǒng)雙聲道、立體音帶來的聽覺體驗(yàn)，6DoF空間聲場技術(shù)可以在混合現(xiàn)實(shí)中模擬聲源與人耳之間因空間位置變化、有無遮擋物等帶來的聲音強(qiáng)弱與方向的變化，從而讓AR眼鏡為用戶帶來更具臨場感的聽覺體驗(yàn)。

6DoF空間聲場技術(shù)將會(huì)集成到全新升級(jí)版的YodaOS-XR操作系統(tǒng)中，作為YodaOS-XR操作系統(tǒng)的基礎(chǔ)能力供行業(yè)開發(fā)者們進(jìn)行調(diào)用。同時(shí)，Rokid還計(jì)劃推進(jìn)更多應(yīng)用于AR眼鏡的特殊音效的開發(fā)，如環(huán)繞與微重低音的高保真音效等，以高效易用的SDK讓開發(fā)者真正實(shí)現(xiàn)即拿即用。

②全新端到端ASR算法

實(shí)現(xiàn)從坐火車到乘飛機(jī)的升級(jí)

Rokid語音技術(shù)不斷升級(jí)，通過全新端到端語音技術(shù)，在原有基礎(chǔ)上實(shí)現(xiàn)字錯(cuò)率降低30%。

同時(shí)，本次升級(jí)不僅僅是傳統(tǒng)意義上的優(yōu)化，而是實(shí)現(xiàn)了從0到1的工業(yè)級(jí)語音識(shí)別技術(shù)革新和更簡單的算法架構(gòu)、更快的訓(xùn)練速度、更簡單的接口、更容易的調(diào)試方式、更低的資源消耗，達(dá)到真正的“穩(wěn)，準(zhǔn)，快”效果。

未來，Rokid端到端語音技術(shù)還將在小語種、垂直領(lǐng)域定制賦能AR行業(yè)等方面不斷形成新的突破，值得期待。

系統(tǒng)框架再升級(jí)

更國際化、更開放、更高適配性

在此次軟件產(chǎn)品演示分享會(huì)中，Rokid技術(shù)團(tuán)隊(duì)還帶來了全新升級(jí)的系統(tǒng)框架，包括多國語言、全息空間2.0、OpenXR標(biāo)準(zhǔn)等，讓Rokid YodaOS-XR操作系統(tǒng)更加強(qiáng)大。

其中，Rokid YodaOS-XR操作系統(tǒng)國際化再進(jìn)一步，中、英、德、俄、西、葡、韓、日、意、法、馬來、阿拉伯語等多種語言即將發(fā)布，進(jìn)一步助力Rokid全球業(yè)務(wù)的持續(xù)推進(jìn)！

Rokid全息空間1.0也升級(jí)到了2.0版本。相較于1.0版本的頭控3DoF、眼鏡中3D展示、語音識(shí)別技術(shù)三個(gè)交互方面探索，全息空間2.0實(shí)現(xiàn)了統(tǒng)一的3D物體控制框架，能對(duì)虛擬空間中的模型進(jìn)行移動(dòng)、旋轉(zhuǎn)和縮放操作，從而使AR全息化體驗(yàn)更強(qiáng)。這一能力，Rokid原生應(yīng)用MSpace已直接移植，為MSpace遠(yuǎn)程協(xié)同空間添加更富有樂趣的全息模型。

在技術(shù)不斷進(jìn)步的同時(shí)，YodaOS-XR操作系統(tǒng)在宣布全面支持OpenXR標(biāo)準(zhǔn)后，行業(yè)合作和落地應(yīng)用也取得了突破性進(jìn)展。在不久前，Rokid與行業(yè)主流3D引擎 Cocos 達(dá)成戰(zhàn)略合作，推動(dòng)OpenXR標(biāo)準(zhǔn)全面落地。基于OpenXR標(biāo)準(zhǔn)打造的AR示例游戲《幽靈射手》也將登錄Rokid Air應(yīng)用商店，這也是Rokid YodaOS-XR操作系統(tǒng)宣布全面支持OpenXR標(biāo)準(zhǔn)以來，首款基于此標(biāo)準(zhǔn)接入的應(yīng)用。

技術(shù)的持續(xù)革新，延續(xù)著產(chǎn)品的生命力。Rokid技術(shù)工程師們對(duì)極致技術(shù)的追求，正在讓更自然的AR交互體驗(yàn)變成現(xiàn)實(shí)。未來，Rokid將持續(xù)把最新的交互和技術(shù)融入操作系統(tǒng)YodaOS-XR中，打造全新的AR體驗(yàn)。在奔向AR未來的旅途中，讓我們一起期待Rokider為行業(yè)開發(fā)者以及用戶創(chuàng)造的驚喜！