SmolLM是什么？
SmolLM是由 Huggingface 最新發布的一系列最先進的小型語言模型，有三種規格：1.35億、3.6億和17億個參數。這些模型建立在 Cosmo-Corpus 上，Cosmo-Corpus 是一個精心策劃的高質量訓練數據集。Cosmo-Corpus 包括 Cosmopedia v2（由 Mixtral 生成的 280 億個合成教科書和故事詞塊）、Python-Edu（由 The Stack 提供的 40 億個 Python 教育樣本詞塊）和 FineWeb-Edu（由 FineWeb 提供的 2200 億個重復教育網絡樣本詞塊）。
SmolLM模型適合需要在本地設備上運行語言模型的開發者和研究人員。它們特別適合那些需要在資源受限的環境中進行高效推理的應用場景，如智能手機、筆記本電腦等。
SmolLM的測試結果
Hugging Face 團隊將開發出的 SmolLM 模型與相同參數量的其他模型進行了基準測試，其中 SmolLM-135M 在多項測試中超越了小于 2 億參數的其他模型；而 SmolLM-360M 的測試成績優于所有小于 5 億參數以下的模型，不過某些項目遜于 Meta 剛剛公布的 MobileLLM-350M；SmolLM-1.7B 模型則超越了所有參數量小于 20 億參數的模型，包括微軟 Phi-1.5、MobileLLM-1.5B 及 Qwen2。
如何使用SmolLM？
- SmolLM項目地址：https://huggingface.co/blog/smollm
- SmolLM模型合集：https://huggingface.co/collections/HuggingFaceTB/smollm-6695016cad7167254ce15966
- 數據集地址：https://huggingface.co/datasets/HuggingFaceTB/smollm-corpus
?版權聲明：如無特殊說明，本站所有內容均為AIHub.cn原創發布和所有。任何個人或組織，在未征得本站同意時，禁止復制、盜用、采集、發布本站內容到任何網站、書籍等各類媒體平臺。否則，我站將依法保留追究相關法律責任的權利。
