Mistral NeMo是什么？
Mistral NeMo是由法國AI公司Mistral AI與NVIDIA合作開發的一個120億（12B）參數的小語言模型。它提供高達128k tokens的上下文窗口，并且在推理、世界知識和編碼準確性方面達到了該規模模型的先進水平。它使用標準架構，易于集成和使用，并且可以作為Mistral 7B的直接替代品。
Mistral NeMo的主要特性
- 性能卓越：與同等參數規模模型相比，它的推理、世界知識和編碼準確性都處于領先地位。
- 大上下文窗口：Mistral NeMo支持128K上下文，能夠更加連貫、準確地處理廣泛且復雜的信息，確保輸出與上下文相關。
- 多語言支持：專為全球多語言應用設計，支持包括中文、英語、法語、德語、西班牙語、意大利語、葡萄牙語、日語、韓語、阿拉伯語和印地語在內的多種語言。
- 指令微調：Mistral NeMO 經歷了高級微調和調整階段。與 Mistral 7B 相比，它在遵循精確指令、推理、處理多輪對話和生成代碼方面表現得更好。
- 開源許可：Mistral在Apache2.0許可證下發布了預訓練的基本檢查點和指令微調檢查點，允許商用。
Mistral NeMo的性能評測
除了在MMLU基準上，Mistral NeMo不如Gemma 2 9B。但在多輪對話、數學、常識推理、世界知識和編碼等基準中，超越了Gemma 2 9B和Llama 3 8B。
如何使用Mistral NeMo？
Mistral NeMo權重文件已托管在HuggingFace上，提供了基礎模型和指令模型，可以通過mistral-inference試用，并用mistral-finetune適配。
- 基礎模型：https://huggingface.co/mistralai/Mistral-Nemo-Base-2407
- 指令模型：https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407
另外，用戶可以通過ai.nvidia.com作為NVIDIA NIM體驗Mistral NeMo，可下載的NIM版本即將推出。
?版權聲明：如無特殊說明，本站所有內容均為AIHub.cn原創發布和所有。任何個人或組織，在未征得本站同意時，禁止復制、盜用、采集、發布本站內容到任何網站、書籍等各類媒體平臺。否則，我站將依法保留追究相關法律責任的權利。
