QVQ-72B-Preview是什么？
QVQ-72B-Preview 是由阿里通義團(tuán)隊開發(fā)的一款多模態(tài)視覺推理模型，基于 Qwen2-VL-72B 微調(diào)，擁有 73.4B 參數(shù)，專注于復(fù)雜的視覺理解和跨學(xué)科推理任務(wù)。QVQ不但能感知更準(zhǔn)確的視覺內(nèi)容，并據(jù)此作出更細(xì)致的分析推理，還會質(zhì)疑自身假設(shè)，仔細(xì)審視其推理過程的每一步，經(jīng)過深思熟慮后給出最后結(jié)論。面對數(shù)學(xué)、物理、化學(xué)等各科學(xué)領(lǐng)域難題，QVQ能像人甚至科學(xué)家一樣，給出思考過程和準(zhǔn)確答案。
多項評測數(shù)據(jù)顯示，QVQ超越了此前的視覺理解模型「開源王者」Qwen2-VL，整體表現(xiàn)與「滿血版」OpenAI o1、Claude3.5 Sonnet等推理模型相當(dāng)。在基準(zhǔn)測試如 MMMU 和 MathVista 中表現(xiàn)卓越，展現(xiàn)了處理數(shù)學(xué)、科學(xué)等高難度問題的能力。
QVQ-72B-Preview的核心亮點
- 卓越的視覺推理能力
- 基于先進(jìn)的多模態(tài)設(shè)計，QVQ 能夠準(zhǔn)確理解圖像內(nèi)容，并進(jìn)行復(fù)雜的逐步推理。
- 支持從圖片中推斷物體高度、數(shù)量等具體信息，還能識別圖片的深層含義，如“梗圖”內(nèi)涵。
- 科學(xué)級推理表現(xiàn)
- MMMU測試：視覺推理得分 70.3，達(dá)大學(xué)水準(zhǔn)。
- MathVista評測：超越 OpenAI o1，展現(xiàn)出強大的數(shù)學(xué)與圖形推理能力。
- MathVision與OlympiadBench測試：在多學(xué)科廣度和奧賽級難度測試中表現(xiàn)超越 GPT-4o 和 Claude 3.5。
- 全新技術(shù)突破：構(gòu)建于 Qwen2-VL-72B 基礎(chǔ)之上，QVQ 在視覺推理與逐步推理方面取得顯著進(jìn)步，可像科學(xué)家一樣思考并給出準(zhǔn)確答案。通過質(zhì)疑假設(shè)和優(yōu)化推理步驟，QVQ 提供了更可靠、更智能的結(jié)果。
- 開放生態(tài)支持：模型已在魔搭社區(qū)和 HuggingFace 平臺開源，開發(fā)者可快速體驗與集成。
QVQ-72B-Preview的模型表現(xiàn)
在考察模型視覺理解及推理的MMMU評測中，QVQ取得了70.3分，水平已達(dá)大學(xué)級別；在聚焦數(shù)學(xué)的視覺推理測試MathVista中，QVQ得分超過OpenAI o1，印證了其強大的圖形推理能力；在更具多樣性和學(xué)科廣度的MathVison評測中，QVQ表現(xiàn)超越Claude3.5及GPT4o，說明QVQ更擅長解決真實數(shù)學(xué)問題；在奧賽級別的OlympiadBench基準(zhǔn)測試中，QVQ也展現(xiàn)了出色的視覺推理能力。
QVQ-72B-Preview的局限性
- 語言混合與切換：模型可能會意外地混合語言或在語言之間切換，從而影響響應(yīng)的清晰度。
- 遞歸推理：模型可能會陷入循環(huán)邏輯模式，產(chǎn)生冗長的響應(yīng)而無法得出結(jié)論。
- 安全和倫理考慮：模型需要增強安全措施，以確保可靠和安全的性能，用戶在部署時應(yīng)保持謹(jǐn)慎。
- 性能和基準(zhǔn)限制：盡管模型在視覺推理方面有所改善，但它無法完全替代 Qwen2-VL-72B 的能力。此外，在多步驟視覺推理過程中，模型可能會逐漸失去對圖像內(nèi)容的關(guān)注，導(dǎo)致幻覺。
如何體驗QVQ-72B-Preview？
目前，開發(fā)者可在魔搭社區(qū)和HuggingFace平臺上直接體驗。
- 項目主頁：https://qwenlm.github.io/zh/blog/qvq-72b-preview/
- 魔搭社區(qū)：https://modelscope.cn/studios/Qwen/QVQ-72B-preview
- HuggingFace：https://huggingface.co/Qwen/QVQ-72B-Preview
