Qwen2-VL：阿里最新開源的視覺多模態大語言模型

AI訓練模型
24年8月30日
編輯

AIHubAI布道師

Qwen2-VL是什么？

Qwen2-VL是由阿里巴巴最新開源的視覺多模態大語言模型系列，專注于視覺語言的理解和處理。該模型能夠處理不同分辨率和比例的圖像，并具備對20分鐘以上視頻內容的理解能力。測試數據顯示，其72B模型在大多數指標上超過了OpenAI的GPT-4o和Anthropic的Claude3.5-Sonnet等知名閉源模型，成為目前最強的多模態模型之一。

Qwen2-VL支持中文、英文、日文、韓文等多種語言，并可在 Apache 2.0 許可證下進行商業化使用。此外，阿里還發布了 Qwen2-VL-72B 的 API服務，幫助開發者增強或開發具備多模態功能的生成式 AI 應用。

Qwen2-VL的主要特性

長視頻理解：Qwen2-VL 能夠理解并處理超過20分鐘的視頻內容，支持基于視頻的高質量問答、對話和內容創作。
視覺智能代理：該模型可以與手機、機器人等設備集成，通過視覺環境和文字指令自動進行操作。
多語言支持：除了中文和英文外，Qwen2-VL 還支持包括日語、韓語、阿拉伯語、越南語等在內的多種語言的文本理解。
動態分辨率支持：Qwen2-VL 能夠處理任意分辨率的圖像，并將其映射到動態數量的視覺 tokens，提供更加人性化的視覺處理體驗。
多模態旋轉位置嵌入 (M-ROPE)：通過分解位置嵌入，將一維文本、二維圖像和三維視頻的位置信息結合，增強多模態數據處理能力。
開源與集成：Qwen2-VL-2B 和 Qwen2-VL-7B 已在 Apache 2.0 許可證下開源，并集成到 Hugging Face Transformers 等第三方框架中。

Qwen2-VL 的應用場景

視頻內容分析：Qwen2-VL 能夠對長時間的視頻內容進行深入分析，非常適用于媒體和娛樂行業中的視頻摘要、亮點檢測和內容推薦等任務。例如，它可以幫助用戶從長達數小時的紀錄片中提取關鍵信息，并進行問答或生成相關內容。
機器人自動化操作：Qwen2-VL 可以集成到機器人中，賦予它們基于視覺環境和文本指令進行自動化操作的能力。例如，在工業自動化或家庭服務機器人中，Qwen2-VL 可以幫助機器人理解周圍環境并執行相應的任務，如物體識別和路徑規劃。
客戶支持自動化：Qwen2-VL 可用于自動化客戶支持系統，尤其是需要處理圖片或視頻輸入的場景。通過分析用戶上傳的圖片或視頻，它能夠提供準確的回答或執行特定操作，從而提升客戶服務的效率和用戶體驗。
文檔和圖像處理：該模型在文檔理解和圖像處理任務中表現優異，可以應用于金融、法律、醫療等行業的文檔自動審閱、數據提取和信息歸檔。它能夠處理不同格式和分辨率的文檔和圖像，幫助企業大幅度提高信息處理的效率。
創意內容生成：在內容創作領域，Qwen2-VL 可以基于視頻或圖像生成新的創意內容。例如，它可以從科普視頻中提取關鍵信息，并撰寫通俗易懂的文章，或者基于視頻中的情節構思出新的小說情節或劇本。
多模態研究與開發：Qwen2-VL 為研究人員和開發者提供了強大的工具，幫助他們在多模態AI領域進行前沿探索。通過該模型，研究者可以開發新的應用程序，改善人機交互系統，或進一步提升AI在處理復雜多模態數據時的理解能力。

如何使用Qwen2-VL？

Qwen2-VL 可以通過 Hugging Face Transformers 或 ModelScope 進行使用，并支持多種輸入格式（如本地文件、URL、base64編碼圖像等）。用戶可以通過安裝相應的 Python 包（如 qwen-vl-utils）來處理視覺輸入，并運行推理任務。此外，Qwen2-VL 支持 Flash-Attention 2，以提高推理速度和內存利用率，尤其在多圖像和視頻場景中表現更佳。