QVQ-72B-Preview：阿里通義推出的開源多模態推理模型

AI訓練模型
24年12月26日
編輯

AIHubAI布道師

QVQ-72B-Preview是什么？

QVQ-72B-Preview 是由阿里通義團隊開發的一款多模態視覺推理模型，基于 Qwen2-VL-72B 微調，擁有 73.4B 參數，專注于復雜的視覺理解和跨學科推理任務。QVQ不但能感知更準確的視覺內容，并據此作出更細致的分析推理，還會質疑自身假設，仔細審視其推理過程的每一步，經過深思熟慮后給出最后結論。面對數學、物理、化學等各科學領域難題，QVQ能像人甚至科學家一樣，給出思考過程和準確答案。

多項評測數據顯示，QVQ超越了此前的視覺理解模型「開源王者」Qwen2-VL，整體表現與「滿血版」OpenAI o1、Claude3.5 Sonnet等推理模型相當。在基準測試如 MMMU 和 MathVista 中表現卓越，展現了處理數學、科學等高難度問題的能力。

QVQ-72B-Preview的核心亮點

卓越的視覺推理能力
- 基于先進的多模態設計，QVQ 能夠準確理解圖像內容，并進行復雜的逐步推理。
- 支持從圖片中推斷物體高度、數量等具體信息，還能識別圖片的深層含義，如“梗圖”內涵。
科學級推理表現
- MMMU測試：視覺推理得分 70.3，達大學水準。
- MathVista評測：超越 OpenAI o1，展現出強大的數學與圖形推理能力。
- MathVision與OlympiadBench測試：在多學科廣度和奧賽級難度測試中表現超越 GPT-4o 和 Claude 3.5。
全新技術突破：構建于 Qwen2-VL-72B 基礎之上，QVQ 在視覺推理與逐步推理方面取得顯著進步，可像科學家一樣思考并給出準確答案。通過質疑假設和優化推理步驟，QVQ 提供了更可靠、更智能的結果。
開放生態支持：模型已在魔搭社區和 HuggingFace 平臺開源，開發者可快速體驗與集成。

QVQ-72B-Preview的模型表現

在考察模型視覺理解及推理的MMMU評測中，QVQ取得了70.3分，水平已達大學級別；在聚焦數學的視覺推理測試MathVista中，QVQ得分超過OpenAI o1，印證了其強大的圖形推理能力；在更具多樣性和學科廣度的MathVison評測中，QVQ表現超越Claude3.5及GPT4o，說明QVQ更擅長解決真實數學問題；在奧賽級別的OlympiadBench基準測試中，QVQ也展現了出色的視覺推理能力。

QVQ-72B-Preview的局限性

語言混合與切換：模型可能會意外地混合語言或在語言之間切換，從而影響響應的清晰度。
遞歸推理：模型可能會陷入循環邏輯模式，產生冗長的響應而無法得出結論。
安全和倫理考慮：模型需要增強安全措施，以確保可靠和安全的性能，用戶在部署時應保持謹慎。
性能和基準限制：盡管模型在視覺推理方面有所改善，但它無法完全替代 Qwen2-VL-72B 的能力。此外，在多步驟視覺推理過程中，模型可能會逐漸失去對圖像內容的關注，導致幻覺。