AIHub 消息,昨天,NVIDIA GTC 大會如期而至。在大會上,英偉達創始人兼 CEO 黃仁勛介紹了 Omniverse(全宇宙)戰略的最新進展,并發布了旨在生成逼真交互式 AI 數字化身的 Omniverse Avatars 平臺。
其實,英偉達在 2020 年 10 月就開始測試面向企業的實時仿真模擬和協作平臺 Omniverse,并在今年 4 月的 GTC 春季大會推出正式版本。
在當時,媒體已經紛紛將這個虛擬工作平臺稱為“工程師的元宇宙”,包括寶馬、愛立信、沃爾沃和 Adobe 等眾多公司都有采用 Omniverse。
黃仁勛曾將 Omniverse 描述成 “一款將 3D 世界連接至共享虛擬世界的平臺”,并宣稱它是未來數字孿生技術的基礎。
在昨晚的 GTC 秋季大會,黃仁勛進一步擴展了 Omniverse 概念,并正式推出 Omniverse Avatar 和 Ominiverse Replicator。
前者旨在幫助開發者通過英偉達的 Omniverse 平臺創建可以理解真人自然說話意圖的交互式虛擬角色,而后者則是一種用于訓練深度神經網絡的合成數據生成引擎,從而提供創建訓練 AI 所需的大量數據。Ominiverse Replicator 主要面向通用機器人和自動駕駛汽車。
另外,Omniverse 同時新增了英偉達早前發布的一系列 AR/VR 功能。
1. Omniverse Avatar
Omniverse Avatar 是 NVIDIA Omniverse 的一部分,這是一個用于 3D 工作流程的虛擬世界模擬和協作平臺,目前處于公開測試階段,擁有超過 70,000 名用戶。
Omniverse Avatar 所使用的語音技術、計算機視覺、自然語言理解、推薦引擎、面部動畫和圖像元素,通過以下技術實現:
語音識別:基于 NVIDIA Riva。這個軟件開發工具包可以識別多種語言的語音。Riva 還可通過文本語音轉換功能生成接近真人的語音反饋。
自然語言理解:基于 Megatron 530B 大型語言模型。該模型可以識別、理解和生成人類語言。Megatron 530B 是一個預訓練模型,它可以在很少或沒有訓練的情況下完成句子、回答主題廣泛的問題、總結長而復雜的故事、翻譯成其他語言,并應對許多它未接受過專門訓練的情景。
推薦引擎:由 NVIDIA Merlin 提供。該框架使企業可以建立能夠處理大量數據的深度學習推薦系統,以提出更明智的建議。
感知功能:來自用于視頻分析的計算機視覺框架——NVIDIA Metropolis。
虛擬形象動畫:由 AI 賦能的 2D 和 3D 面部動畫和渲染技術——NVIDIA Video2Face 和 Audio2Face 驅動。
所述技術都集成在一個應用,并使用英偉達統一計算框架進行實時處理。在打包成可擴展、自定義微服務后,它們將能夠通過 NVIDIA Fleet Command 在多個地點安全地部署、管理和協調。
英偉達指出,Omniverse Avatar 為 AI 助手的創建開辟了道路,而且可以根據各個行業的需求輕松定制。例如,AI 助手可以幫助處理數十億次日常客戶服務互動,比如餐廳訂單,銀行交易,個人預約和預訂等,帶來更多商機并提升客戶滿意度。
黃仁勛表示:“智能虛擬助手的前景一片光明。Omniverse Avatar 將我們的基礎圖像、模擬和 AI 技術結合在一起,打造出一些有史以來最復雜的實時應用。協作機器人和虛擬助手的案例令人難以置信,影響深遠。”
在 NVIDIA GTC 的主題演講中,黃仁勛分享了Omniverse Avatar 的各種示例:
用于客戶支持的 Project Tokkio;
用于始終在線的車輛智能服務的 NVIDIA DRIVE Concierge;
用于視頻會議的 Project Maxine。
在 Project Tokkio 的第一個演示中,黃仁勛向同事展示了與一個被制作成他自己的玩具復制品的虛擬形象進行實時對話——談論生物學和氣候科學等話題。
在第二個 Project Tokkio 演示中,他突出顯示了餐廳售貨亭中的客戶服務化身,當他們訂購素食漢堡、薯條和飲料時,他能夠看到、交談并理解兩位顧客。演示由英偉達人工智能軟件和Megatron 530B 提供支持,Megatron 530B 目前是世界上最大的可定制語言模型。
在 DRIVE Concierge AI 平臺的演示中,儀表板中央屏幕上的數字助理幫助駕駛員選擇最佳駕駛模式以準時到達目的地,然后按照他的要求設置汽車行駛里程低于 100 英里時的提醒。
另外,黃仁勛展示了 Project Maxine 將最先進的視頻和音頻功能添加到虛擬協作和內容創建應用程序的能力。
在嘈雜的咖啡館中,視頻通話中顯示了一名講英語的人,但可以在沒有背景噪音的情況下清晰地聽到。當她說話時,她的話會被實時轉錄并翻譯成德語、法語和西班牙語,并使用與她相同的聲音和語調。
Maxine使用計算機視覺來追蹤人的面部,并識別其表情,3D動畫可為其制作虛擬而逼真的頭像。
可以想象,在企業和開發人員中,每個行業都需要某種形式的虛擬化身。
使用Omniverse Avatar平臺,你可以為視頻會議和協作平臺、客戶支持平臺、內容創建、應用收益和數字孿生、機器人應用等等構建定制的AI助理。
NVIDIA的虛擬世界模擬Omniverse是打造虛擬世界的關鍵平臺。從機器人、自動駕駛車隊、倉庫、工業廠房到整個城市,都能在Omniverse數字孿生中完成創建、訓練和運行。
黃仁勛說,Omniverse面向數據中心規模設計,有朝一日有望能達到全球數據規模。
愛立信正構建整個城市的數字孿生環境,幫助確定如何放置和配置每個站點以獲得最佳覆蓋范圍和網絡性能,可對整個5G網絡執行逼真遠程仿真。
2. 通往虛擬世界的新門戶
英偉達指出,Omniverse 平臺將充當物理級準確的 3D 虛擬世界的結締組織,并將獲得 AR、VR 和多 GPU 渲染等新功能。
當然,Omniverse 主要是新增英偉達早前發布過的一系列 AR/VR 功能,包括:
NVIDIA CloudXR:這個企業級沉浸式串流框架已經集成到 Omniverse Kit(用于構建原生 Omniverse 應用和微服務的工具包),允許用戶以交互方式將 Omniverse 體驗串流至他們的移動 AR 和 VR 設備。
Omniverse VR:領先的完全圖像、實時光線追蹤 VR,可支持開發者在平臺上構建自己的 VR 工具,而最終用戶可以直接享受 VR 功能。
Omniverse Remote:提供 AR 功能和虛擬攝像頭,支持設計師查看通過 iOS 和 Android 設備全光線追蹤的 asset。
乘著 AI、高性能計算和元宇宙的東風,NVIDIA 今年過得可謂風生水起,市值一路扶搖直上,突破 7700 億美元。其 Omniverse 平臺更是被分析機構視作 NVIDIA 一項重要的平臺擴張戰略。
在這表面風光的背后,NVIDIA 的遠見和前瞻性不容小覷。無論是如火如荼的 AI,還是方興未艾的虛擬世界,NVIDIA 能成為科技熱潮的直接受益者,都離不開過去多年對其軟硬件產品的打磨。
此次 NVIDIA GTC 大會期間,我們還將看到更多覆蓋深度學習、數據科學、高性能計算、機器人等領域的最新進展,而始于 NVIDIA CUDA 的加速計算正在這些領域催化效率提升,推動現代科技快速進化、走向未來。
參考鏈接:
-
https://nvidianews.nvidia.com/news/nvidia-announces-platform-for-creating-ai-avatars
-
https://www.youtube.com/watch?v=jhDiaUL_RaM&t=787s
關于 NVIDIA
NVIDIA 于 1999 年發明的 GPU 引發了 PC 游戲市場的增長,并重新定義了現代計算機圖形、高性能計算和人工智能。該公司在加速計算和人工智能方面的開創性工作正在重塑價值數萬億美元的行業,例如運輸、醫療保健和制造業,并推動許多其他行業的發展。
- Facebook正式改名Meta,扎克伯格All in元宇宙,開啟新征程;
- 微軟加入元宇宙大戰:將Mesh直接植入Teams中,將不同元宇宙粘合起來;
- 中科深智完成B輪融資,利用AI技術打造元宇宙內容生產中臺。
-
全球第一!阿里達摩院AI訓練模型M6參數破10萬億,遠超谷歌、微軟; - 微軟宣布推出Azure OpenAI服務,為開發者帶來GPT-3模型,幫助企業建構更聰明的應用;
- 全球最大規模人工智能巨量模型 “源1.0”正式開源!2457 億模型參數,超越美國GPT-3模型。
3.AI人物:
