AIHub 最新消息 2024年12月26日，深言科技“語鯨大模型”正式通過《生成式人工智能服務管理暫行辦法》備案，將陸續面向社會公眾開放服務。那么語鯨大模型是什么，可以做什么，如何使用呢，一起來看看。
語鯨大模型是什么？
LingoWhale-8B是由深言科技推出的語鯨系列大模型中首個開源的中英雙語大語言模型，擁有約80億參數，在數萬億token的高質量中英數據上進行預訓練，具有強大的基礎能力，在多個公開評測基準上均達到領先效果。在預訓練階段，模型使用8K的上下文長度進行訓練，能夠完成更長上下文的理解和生成任務。
語鯨大模型可以做什么？
“語鯨大模型”具備強大的語義理解與文本生成、代碼理解與生成、邏輯推理等能力，提供文本創作、數學計算、代碼補全等服務，在中文理解和生成能力上行業領先，做到了更懂中文，更懂中文使用場景。
以下是深言科技提供的測試樣例：
語鯨大模型測評結果
語鯨大模型在各種公開評測基準上進行了測試，比如 C-Eval、MMLU 和 CMMLU。這些評估基準提供了標準化的測試和度量，用于評估語言模型在不同任務和領域上的性能和能力。
語鯨大模型在多個公開評測基準上取得了領先效果。評測方法和測評結果如下表所示：
| Model | C-Eval | MMLU | CMMLU | GAOKAO | HumanEval | GSM8K | BBH | AGIEval |
|---|---|---|---|---|---|---|---|---|
| 5-shot | 5-shot | 5-shot | 5-shot | 0-shot | 8-shot | 3-shot | 5-shot | |
| GPT-4 | 68.4 | 83.9 | 70.3 | 66.2 | 69.5 | 90.0 | 75.1 | 63.3 |
| GPT-3.5 Turbo | 51.1 | 68.5 | 54.1 | 47.1 | 52.4 | 57.8 | 61.6 | 46.1 |
| LLaMA2-7B | 28.9 | 45.7 | 31.4 | 26.0 | 12.8 | 16.2 | 39.2 | 26.5 |
| ChatGLM2-6B* | 51.7 | 47.9 | - | - | - | 32.4 | 33.7 | - |
| Baichuan2-7B-Base* | 54.0 | 54.2 | 57.1 | 47.5 | 18.3 | 24.5 | 41.6 | 42.7 |
| Qwen-7B v1.1* | 63.5 | 58.2 | 62.2 | - | 29.9 | 51.7 | 45.0 | - |
| LingoWhale-8B-base | 63.6 | 60.2 | 62.8 | 50.3 | 32.9 | 55.0 | 47.5 | 43.8 |
*表示其模型結果來自于官方， 所有的結果都精確到小數點后1位。
如何使用語鯨大模型？
語鯨大模型模型已經開源，供學術研究免費使用，商業用途需要通過申請獲取授權。
在開源模型權重的同時，語鯨大模型也提供了符合用戶習慣的Huggingface推理接口以及LoRA等參數高效微調示例，便于開發者快速使用LingoWhale-8B模型。
開源地址：
- GitHub：https://github.com/DeepLangAI/LingoWhale-8B
- Huggingface：https://huggingface.co/deeplang-ai/LingoWhale-8B
- ModelScope：https://www.modelscope.cn/models/DeepLang/LingoWhale-8B
- Wisemodel：https://wisemodel.cn/models/DeepLang/LingoWhale-8B
若你期望將此源模型或其衍生品用作商業用途，請填寫問卷進行申請，通過后即可免費商用。
關于深言科技
深言科技官網：https://deeplang.ai/
深言科技（DeepLang AI）由清華大學計算機系自然語言處理實驗室（THUNLP）與北京智源人工智能研究院（BAAI）共同孵化，是國內最早開展大模型研發與探索大模型落地的創業公司之一。
公司創始團隊曾深度參與智源·悟道大模型的研發，目前已發布產品包括世界首個中文及跨語言反向詞典WantWords、名句語義檢索系統WantQuotes、智能寫作工具深言達意等，已為超過800萬用戶提供智能文本信息處理服務。
公司成立以來已獲得多項榮譽，包括入選《中國企業家》大模型新銳9名單、中國最具價值 AGI 創新機構 TOP 50、第十一屆中國創新創業大賽（初創組）優秀企業等，并已入選北京市通用人工智能產業創新伙伴計劃。
