Qwen2.5-Turbo：阿里推出的AI大語言模型，支持 100 萬 tokens 上下文，處理時間縮短至 68 秒

AI訓練模型
24年11月20日
編輯

AIHubAI布道師

Qwen2.5-Turbo是什么？

Qwen2.5-Turbo是阿里巴巴推出的最新長上下文語言模型，支持高達 100萬 tokens 的上下文處理，相當于 100 萬英文單詞或 150 萬中文字符，性能優于 GPT-4。通過稀疏注意力機制，推理速度提升至 68 秒，處理成本為每 100萬 tokens ￥0.3，兼具短文本任務的高效性。其在多項評測中表現卓越（RULER 93.1 分），適用于文本理解、代碼處理等多場景，兼具高效性和低成本優勢。

Qwen2.5-Turbo：阿里推出的AI大語言模型，支持 100 萬 tokens 上下文，處理時間縮短至 68 秒

Qwen2.5-Turbo的主要特性

超長上下文處理能力：支持 100萬 tokens 的上下文長度（約 100 萬英文單詞或 150 萬中文字符）。可處理 10 部小說、150 小時語音轉錄或 30,000 行代碼。在 RULER 長文本評測中得分 93.1，優于 GPT-4 的 91.6。
推理速度顯著提升：稀疏注意力機制將 1M-token 首個 token 的生成時間從 4.9 分鐘縮短至 68 秒，實現 4.3 倍加速。
更低的處理成本：每 1M tokens 的處理成本僅為 ￥0.3，比 GPT-4o-mini 高效 3.6 倍。

Qwen2.5-Turbo的性能評測

長文本任務：在 RULER 評測中，Qwen2.5-Turbo 在長文本中定位關鍵信息、回答復雜問題方面得分 93.1，超越 GPT-4 的 91.6 和 GLM4-9B 的 89.9。此外，它在 LV-Eval 中展現出強大的多證據片段理解能力，有效避免誤判，適應復雜任務。
短文本任務：Qwen2.5-Turbo 不僅支持超長上下文，還保留了短文本任務的高性能。在短文本場景中，其表現與 GPT-4o-mini 和 Qwen2.5-14B-Instruct 不相上下，實現了長短文本處理的平衡。
推理效率：通過引入稀疏注意力機制，Qwen2.5-Turbo 在處理超長文本時顯著加速，1M-token 輸入的首個 token 推理時間從 4.9 分鐘縮短至 68 秒，硬件環境下實現 3.2x 至 4.3x 加速，顯著提高了推理效率。
準確性：在 1M-token Passkey Retrieval 任務中，Qwen2.5-Turbo 展現了卓越的精確性，達成 100% 準確率，充分體現了其在處理超長上下文中提取關鍵信息的強大能力。