獵戶星空大模型是什么？
獵戶星空大模型是獵戶星空發(fā)布的一個專為企業(yè)應(yīng)用設(shè)計的AI模型，具有140億參數(shù)的多語種大模型，該模型在一個包含2.5萬億token的多樣化數(shù)據(jù)集上進行了訓練，涵蓋了中文、英語、日語、韓語等多種語言。在多語言環(huán)境下的一系列任務(wù)中展現(xiàn)出卓越的性能。在主流的公開基準評測中，Orion-14B系列模型表現(xiàn)優(yōu)異，多項指標顯著超越同等參數(shù)基本的其他模型。具體技術(shù)細節(jié)請參考技術(shù)報告。
具體而言，Orion-14B系列大語言模型包含:
- Orion-14B-Base:?基于2.5萬億tokens多樣化數(shù)據(jù)集訓練處的140億參數(shù)量級的多語言基座模型。
- Orion-14B-Chat:?基于高質(zhì)量語料庫微調(diào)的對話類模型，旨在為大模型社區(qū)提供更好的用戶交互體驗。
- Orion-14B-LongChat:?在200k token長度上效果優(yōu)異，最長可支持可達320k，在長文本評估集上性能比肩專有模型。
- Orion-14B-Chat-RAG:?在一個定制的檢索增強生成數(shù)據(jù)集上進行微調(diào)的聊天模型，在檢索增強生成任務(wù)中取得了卓越的性能。
- Orion-14B-Chat-Plugin:?專門針對插件和函數(shù)調(diào)用任務(wù)定制的聊天模型，非常適用于使用代理的相關(guān)場景，其中大語言模型充當插件和函數(shù)調(diào)用系統(tǒng)。
- Orion-14B-Base-Int4:?一個使用int4進行量化的基座模型。它將模型大小顯著減小了70%，同時提高了推理速度30%，僅引入了1%的最小性能損失。
- Orion-14B-Chat-Int4:?一個使用int4進行量化的對話模型。
獵戶星空大模型性能亮點：
Orion-14B系列大模型有以下幾個特點：
- 基座20B參數(shù)級別大模型綜合評測效果表現(xiàn)優(yōu)異
- 多語言能力強，在日語、韓語測試集上顯著領(lǐng)先
- 微調(diào)模型適應(yīng)性強，在人類標注盲測中，表現(xiàn)突出
- 長上下文版本支持超長文本，在200k token長度上效果優(yōu)異，最長可支持可達320k
- 量化版本模型大小縮小70%，推理速度提升30%，性能損失小于1%
獵戶星空大模型還提供了多種應(yīng)用微調(diào)選項，如通用對話微調(diào)、插件微調(diào)、RAG微調(diào)、長Token微調(diào)、知識抽取微調(diào)和問答對生成微調(diào)等，以適應(yīng)不同的企業(yè)場景需求。
此外，獵戶星空大模型強調(diào)其適合企業(yè)應(yīng)用的特點，如：
- 模型可以在千元級顯卡上運行，如NVIDIA RTX 3060，每秒可處理約50個漢字。
- 支持私有化部署，大模型服務(wù)器可以放置在企業(yè)內(nèi)網(wǎng)，確保數(shù)據(jù)安全。
- 免費開源可商用，提供社區(qū)技術(shù)支持。
如何使用獵戶星空大模型？
- 官網(wǎng)入口：https://www.orionstar.com/llm.html
- 在線體驗：https://www.modelscope.cn/studios/OrionStarAI/Orion-14B-App-Demo/summary/
?版權(quán)聲明：如無特殊說明，本站所有內(nèi)容均為AIHub.cn原創(chuàng)發(fā)布和所有。任何個人或組織，在未征得本站同意時，禁止復制、盜用、采集、發(fā)布本站內(nèi)容到任何網(wǎng)站、書籍等各類媒體平臺。否則，我站將依法保留追究相關(guān)法律責任的權(quán)利。
