Qwen2是什么？
Qwen2是阿里云通義千問(wèn)團(tuán)隊(duì)開(kāi)源的新一代大語(yǔ)言模型，推出了5個(gè)尺寸的預(yù)訓(xùn)練和指令微調(diào)模型，在中文英語(yǔ)的基礎(chǔ)上，訓(xùn)練數(shù)據(jù)中增加了27種語(yǔ)言相關(guān)的高質(zhì)量數(shù)據(jù)；代碼和數(shù)學(xué)能力顯著提升；增大了上下文長(zhǎng)度支持，最高達(dá)到128K?tokens（Qwen2-72B-Instruct）。多個(gè)評(píng)測(cè)基準(zhǔn)上的領(lǐng)先表現(xiàn)。現(xiàn)已在Hugging Face和ModelScope開(kāi)源。
Qwen2系列包含5個(gè)尺寸的預(yù)訓(xùn)練和指令微調(diào)模型，其中包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B。如下表所示:
| 模型 | Qwen2-0.5B | Qwen2-1.5B | Qwen2-7B | Qwen2-57B-A14B | Qwen2-72B |
|---|---|---|---|---|---|
| 參數(shù)量 | 0.49B | 1.54B | 7.07B | 57.41B | 72.71B |
| 非Embedding參數(shù)量 | 0.35B | 1.31B | 5.98B | 56.32B | 70.21B |
| GQA | True | True | True | True | True |
| Tie Embedding | True | True | False | False | False |
| 上下文長(zhǎng)度 | 32K | 32K | 128K | 64K | 128K |
Qwen2的亮點(diǎn)特性
1、代碼 & 數(shù)學(xué)：在代碼方面，Qwen2實(shí)現(xiàn)了在多種編程語(yǔ)言上的顯著效果提升。而在數(shù)學(xué)方面，大規(guī)模且高質(zhì)量的數(shù)據(jù)幫助Qwen2-72B-Instruct實(shí)現(xiàn)了數(shù)學(xué)解題能力的飛升。
2、長(zhǎng)文本處理：Qwen2-7B-Instruct幾乎完美地處理長(zhǎng)達(dá)128k的上下文；Qwen2-57B-A14B-Instruct則能處理64k的上下文長(zhǎng)度；而該系列中的兩個(gè)較小模型則支持32k的上下文長(zhǎng)度。
3、安全方面：通過(guò)顯著性檢驗(yàn)（P值），Qwen2-72B-Instruct模型在安全性方面與GPT-4的表現(xiàn)相當(dāng)，并且顯著優(yōu)于Mistral-8x22B模型。
Qwen2的性能評(píng)測(cè)
相比Qwen1.5，Qwen2在大規(guī)模模型實(shí)現(xiàn)了非常大幅度的效果提升。在針對(duì)預(yù)訓(xùn)練語(yǔ)言模型的評(píng)估中，對(duì)比當(dāng)前最優(yōu)的開(kāi)源模型，Qwen2-72B在包括自然語(yǔ)言理解、知識(shí)、代碼、數(shù)學(xué)及多語(yǔ)言等多項(xiàng)能力上均顯著超越當(dāng)前領(lǐng)先的模型，如Llama-3-70B以及Qwen1.5最大的模型Qwen1.5-110B。
Qwen2-72B-Instruct在提升基礎(chǔ)能力以及對(duì)齊人類價(jià)值觀這兩方面取得了較好的平衡。相比Qwen1.5的72B模型，Qwen2-72B-Instruct在所有評(píng)測(cè)中均大幅超越，并且了取得了匹敵Llama-3-70B-Instruct的表現(xiàn)。
在小模型方面，Qwen2系列模型基本能夠超越同等規(guī)模的最優(yōu)開(kāi)源模型甚至更大規(guī)模的模型。相比近期推出的最好的模型，Qwen2-7B-Instruct依然能在多個(gè)評(píng)測(cè)上取得顯著的優(yōu)勢(shì)，尤其是代碼及中文理解上。
如何使用Qwen2？
目前，Qwen2已在Hugging Face和ModelScope上同步開(kāi)源，相關(guān)資源地址如下：
- Qwen2項(xiàng)目博客：https://qwenlm.github.io/zh/blog/qwen2
- 在線體驗(yàn)地址：https://huggingface.co/spaces/Qwen/Qwen2-72B-Instruct
- GitHub地址：https://github.com/QwenLM/Qwen2
- Hugging Face模型地址：https://huggingface.co/Qwen
- ModelScope模型地址：https://modelscope.cn/organization/qwen
阿里云基于Qwen2的AI編程助手通義靈碼正式上線，如有興趣，可以試試。
