ImageBind是什么？
AIHub最新消息，Meta 公司發(fā)布了一個(gè)新的開源人工智能模型 ImageBind，該模型能夠?qū)⒍喾N數(shù)據(jù)流，包括文本、音頻、視覺數(shù)據(jù)、溫度和運(yùn)動(dòng)讀數(shù)等整合在一起。該模型目前只是一個(gè)研究項(xiàng)目，還沒有直接的消費(fèi)者或?qū)嶋H應(yīng)用，但它展示了未來生成式人工智能系統(tǒng)的可能性，這些系統(tǒng)能夠創(chuàng)造出沉浸式、多感官的體驗(yàn)。同時(shí)，該模型也表明了 Meta 公司在人工智能研究領(lǐng)域的開放態(tài)度，而其競爭對手如 OpenAI 和谷歌則變得越來越封閉。
技術(shù)原理
該研究的核心概念是將多種類型的數(shù)據(jù)整合到一個(gè)多維索引（或用人工智能術(shù)語來說，“嵌入空間”）中。這個(gè)概念可能有些抽象，但它正是近期生成式人工智能熱潮的基礎(chǔ)。例如，人工智能圖像生成器，如 DALL-E、Stable Diffusion 和 Midjourney 等，都依賴于在訓(xùn)練階段將文本和圖像聯(lián)系在一起的系統(tǒng)。它們在尋找視覺數(shù)據(jù)中的模式的同時(shí)，將這些信息與圖像的描述相連。這就是為什么這些系統(tǒng)能夠根據(jù)用戶的文本輸入生成圖片。同樣的道理也適用于許多能夠以同樣方式生成視頻或音頻的人工智能工具。
Meta 公司稱，其模型 ImageBind 是第一個(gè)將六種類型的數(shù)據(jù)整合到一個(gè)嵌入空間中的模型。這六種類型的數(shù)據(jù)包括：視覺（包括圖像和視頻）；熱力（紅外圖像）；文本；音頻；深度信息；以及最有趣的一種 —— 由慣性測量單元（IMU）產(chǎn)生的運(yùn)動(dòng)讀數(shù)。（IMU 存在于手機(jī)和智能手表中，用于執(zhí)行各種任務(wù)，從手機(jī)從橫屏切換到豎屏，到區(qū)分不同類型的運(yùn)動(dòng)。）
未來的人工智能系統(tǒng)將能夠像當(dāng)前針對文本輸入的系統(tǒng)一樣，交叉引用這些數(shù)據(jù)。例如，想象一下一個(gè)未來的虛擬現(xiàn)實(shí)設(shè)備，它不僅能夠生成音頻和視覺輸入，還能夠生成你所處的環(huán)境和物理站臺(tái)的運(yùn)動(dòng)。你可以要求它模擬一次漫長的海上旅行，它不僅會(huì)讓你置身于一艘船上，并且有海浪的聲音作為背景，還會(huì)讓你感受到甲板在腳下?lián)u晃和海風(fēng)吹拂。
Meta 公司在博客文章中指出，未來的模型還可以添加其他感官輸入流，包括“觸覺、語音、氣味和大腦功能磁共振成像信號(hào)”。該公司還聲稱，這項(xiàng)研究“讓機(jī)器更接近于人類同時(shí)、全面、直接地從多種不同的信息形式中學(xué)習(xí)的能力。”
當(dāng)然，這很多都是基于預(yù)測的，而且很可能這項(xiàng)研究的直接應(yīng)用會(huì)非常有限。例如，去年，Meta 公司展示了一個(gè)人工智能模型，能夠根據(jù)文本描述生成短而模糊的視頻。像 ImageBind 這樣的研究顯示了未來版本的系統(tǒng)如何能夠整合其他數(shù)據(jù)流，例如生成與視頻輸出匹配的音頻。
對于行業(yè)觀察者來說，這項(xiàng)研究也很有趣，因?yàn)锳IHub注意到 Meta 公司是開源了底層模型的，這在人工智能領(lǐng)域是一個(gè)越來越受到關(guān)注的做法。
如何使用
1.demo演示：https://imagebind.metademolab.com/demo
2.官網(wǎng)：https://imagebind.metademolab.com/
3.論文地址：https://dl.fbaipublicfiles.com/imagebind/imagebind_final.pdf
4.GitHub代碼地址：https://github.com/facebookresearch/ImageBind
