CPM-Bee是什么？

CPM-Bee 是一個(gè)?完全開源、允許商用?的百億參數(shù)中英文基座模型。它采用 Transformer 自回歸架構(gòu)（auto-regressive），使用萬億級高質(zhì)量語料進(jìn)行預(yù)訓(xùn)練，擁有強(qiáng)大的基礎(chǔ)能力。

CPM-Bee 的特點(diǎn)可以總結(jié)如下：

• 開源可商用：OpenBMB 始終秉承“讓大模型飛入千家萬戶”的開源精神，CPM-Bee 基座模型將完全開源并且可商用，以推動(dòng)大模型領(lǐng)域的發(fā)展。如需將模型用于商業(yè)用途，只需企業(yè)實(shí)名郵件申請并獲得官方授權(quán)證書，即可商用使用。
• 中英雙語性能優(yōu)異：CPM-Bee 基座模型在預(yù)訓(xùn)練語料上進(jìn)行了嚴(yán)格的篩選和配比，同時(shí)在中英雙語上具有亮眼表現(xiàn)，具體可參見評測任務(wù)和結(jié)果。
• 超大規(guī)模高質(zhì)量語料：CPM-Bee基座模型在萬億級語料上進(jìn)行訓(xùn)練，是開源社區(qū)內(nèi)經(jīng)過語料最多的模型之一。同時(shí)，我們對預(yù)訓(xùn)練語料進(jìn)行了嚴(yán)格的篩選、清洗和后處理以確保質(zhì)量。
• OpenBMB大模型系統(tǒng)生態(tài)支持：OpenBMB 大模型系統(tǒng)在高性能預(yù)訓(xùn)練、適配、壓縮、部署、工具開發(fā)了一系列工具，CPM-Bee 基座模型將配套所有的工具腳本，高效支持開發(fā)者進(jìn)行進(jìn)階使用。?
• 強(qiáng)大的對話和工具使用能力：結(jié)合OpenBMB 在指令微調(diào)和工具學(xué)習(xí)的探索，我們在 CPM-Bee 基座模型的基礎(chǔ)上進(jìn)行微調(diào)，訓(xùn)練出了具有強(qiáng)大對話和工具使用能力的實(shí)例模型，現(xiàn)已開放定向邀請內(nèi)測，未來會(huì)逐步向公眾開放。

???Github地址???https://github.com/OpenBMB/CPM-Bee?

??Hugging Face地址???https://huggingface.co/openbmb/cpm-bee-10b

CPM-Bee可以做什么？

CPM-Bee 一網(wǎng)打盡多種能力，可以準(zhǔn)確地進(jìn)行語義理解，高效完成各類基礎(chǔ)任務(wù)，包括：文字填空、文本生成、翻譯、問答、評分預(yù)測、文本選擇題?等等。

?版權(quán)聲明：如無特殊說明，本站所有內(nèi)容均為AIHub.cn原創(chuàng)發(fā)布和所有。任何個(gè)人或組織，在未征得本站同意時(shí)，禁止復(fù)制、盜用、采集、發(fā)布本站內(nèi)容到任何網(wǎng)站、書籍等各類媒體平臺。否則，我站將依法保留追究相關(guān)法律責(zé)任的權(quán)利。