Qwen2-Math是什么？
Qwen2-Math是阿里巴巴最新開(kāi)源的數(shù)學(xué)推理大模型，是基于 Qwen2 LLM 構(gòu)建的專(zhuān)門(mén)用于數(shù)學(xué)解題的一系列語(yǔ)言模型。Qwen2-Math 提供了基礎(chǔ)和指令微調(diào)兩種版本，分別有1.5B（15億）、7B（79億）和72B（720億）三種參數(shù)規(guī)模，以適應(yīng)不同的應(yīng)用需求。
在多項(xiàng)數(shù)學(xué)基準(zhǔn)測(cè)試中，Qwen2-Math展現(xiàn)出卓越的性能，超越了包括GPT-4o、Claude-3.5-Sonnet和Gemini-1.5 Pro在內(nèi)的當(dāng)前市場(chǎng)上一些領(lǐng)先的開(kāi)閉源模型，躋身全球頂尖數(shù)學(xué)推理模型行列。
雖然Qwen2-Math目前僅支持英文，但阿里巴巴已宣布即將推出中英雙語(yǔ)版本，這將助力更廣泛的用戶(hù)群體開(kāi)發(fā)和利用生成式AI應(yīng)用。
Qwen2-Math的主要特性
- 支持多版本： Qwen2-Math 提供了基礎(chǔ)和指令微調(diào)兩種版本，分別有1.5B、7B和72B三種參數(shù)規(guī)模，適應(yīng)不同的應(yīng)用需求。
- 卓越的數(shù)學(xué)推理能力： 該模型在多個(gè)數(shù)學(xué)基準(zhǔn)測(cè)試上表現(xiàn)出色，包括 GSM8K、Math、MMLU-STEM 以及中國(guó)的高考數(shù)學(xué)題目，尤其是在數(shù)學(xué)競(jìng)賽題目的解答上表現(xiàn)優(yōu)異。
- 先進(jìn)的訓(xùn)練方法： Qwen2-Math 在高質(zhì)量的數(shù)學(xué)專(zhuān)用語(yǔ)料庫(kù)上進(jìn)行預(yù)訓(xùn)練，并結(jié)合密集的獎(jiǎng)勵(lì)信號(hào)與二元信號(hào)進(jìn)行微調(diào)優(yōu)化，確保模型的高準(zhǔn)確性和自我校正能力。
- 去污染處理： 為了確保測(cè)試結(jié)果的公正性，模型在訓(xùn)練和微調(diào)過(guò)程中對(duì)重疊樣本進(jìn)行了去污染處理，特別是清除了與知名基準(zhǔn)測(cè)試數(shù)據(jù)集有重疊的污染樣本。
- 未來(lái)發(fā)展： 目前，Qwen2-Math 僅支持英文版本，阿里巴巴計(jì)劃很快推出中英雙語(yǔ)版本，以支持更多用戶(hù)開(kāi)發(fā)生成式 AI 應(yīng)用。
Qwen2-Math的性能評(píng)測(cè)
在一系列數(shù)學(xué)基準(zhǔn)評(píng)測(cè)上評(píng)估了我們的數(shù)學(xué)專(zhuān)用模型 Qwen2-Math。在 Math 上的評(píng)測(cè)結(jié)果表明，我們最大的數(shù)學(xué)專(zhuān)用模型 Qwen2-Math-72B-Instruct 超越了最先進(jìn)的模型，包括 GPT-4o、Claude-3.5-Sonnet、Gemini-1.5-Pro 和 Llama-3.1-405B。
如何使用Qwen2-Math？
目前，Qwen2-Math模型僅支持英文，但阿里表示會(huì)很快推出中英雙語(yǔ)版本，并且多語(yǔ)言模型也在開(kāi)發(fā)之中。
- 開(kāi)源地址：https://huggingface.co/Qwen
- Github地址：https://github.com/QwenLM/Qwen2-Math?tab=readme-ov-file
