紫東太初大模型
“紫東太初”跨模態(tài)通用人工智能平臺是由中國科學(xué)院自動化研究所研發(fā)的以多模態(tài)大模型為核心、基于全棧國產(chǎn)化基礎(chǔ)軟硬件平臺，可支撐全場景AI應(yīng)用。
依托面向超大規(guī)模的高效分布式訓(xùn)練框架，自動化所構(gòu)建了具有業(yè)界領(lǐng)先性能的中文預(yù)訓(xùn)練模型、語音預(yù)訓(xùn)練模型、視覺預(yù)訓(xùn)練模型，并開拓性地通過跨模態(tài)語義關(guān)聯(lián)實現(xiàn)了視覺-文本-語音三模態(tài)統(tǒng)一表示，構(gòu)建了三模態(tài)預(yù)訓(xùn)練大模型，賦予跨模態(tài)通用人工智能平臺多種核心能力。
可實現(xiàn)文本、圖片、語音、視頻、3D點云、傳感信號等不同模態(tài)的統(tǒng)一表征和學(xué)習(xí)，助推通用人工智能時代加速到來。
“紫東太初”兼具跨模態(tài)理解和生成能力，具有了在無監(jiān)督情況下多任務(wù)聯(lián)合學(xué)習(xí)、并快速遷移到不同領(lǐng)域數(shù)據(jù)的強(qiáng)大能力。對更廣泛、更多樣的下游任務(wù)提供模型基礎(chǔ)支撐，達(dá)成AI在如視頻配音、語音播報、標(biāo)題摘要、海報創(chuàng)作等更多元場景的應(yīng)用。
在線體驗：https://xihe.mindspore.cn/modelzoo/taichu
了解更多：https://gitee.com/mindspore/zidongtaichu
紫東太初特色
- 全球首個多模態(tài)圖文音預(yù)訓(xùn)練模型
- 多層次多任務(wù)自監(jiān)督學(xué)習(xí)
- 弱關(guān)聯(lián)多模態(tài)數(shù)據(jù)語義統(tǒng)一表達(dá)
- 兼顧任務(wù)感知和推理增強(qiáng)的中文預(yù)訓(xùn)練模型
- 多粒度學(xué)習(xí)與注意力指導(dǎo)的視覺預(yù)訓(xùn)練模型
- 基于自監(jiān)督預(yù)訓(xùn)練的多任務(wù)語音建模技術(shù)
中文預(yù)訓(xùn)練模型
文本預(yù)訓(xùn)練模型使用條件語言模型作為自監(jiān)督目標(biāo)進(jìn)行訓(xùn)練，和GPT一樣，模型根據(jù)上文來預(yù)測當(dāng)前詞匯，最終訓(xùn)練得到的模型可以生成流暢的中文表達(dá)。
本次開源的中文文本預(yù)訓(xùn)練模型由40層Transformer組成，隱層維度2560，包含32個注意力頭，共32億參數(shù)。訓(xùn)練語料豐富多樣，包括新聞、百科、散文等，文本生成能力強(qiáng)大。
中文預(yù)訓(xùn)練模型基礎(chǔ)上還可以進(jìn)行微調(diào)操作，充分利用少量有監(jiān)督數(shù)據(jù)增強(qiáng)模型在下游任務(wù)上的表現(xiàn)，如文本分類，對話生成、古詩創(chuàng)作等；除此之外，中文預(yù)訓(xùn)練模型還能夠?qū)崿F(xiàn)簡單的少樣本學(xué)習(xí)，如下圖所示，輸入已知的部分樣例，模型能夠捕捉類似的規(guī)律進(jìn)行文本生成。
