紫東太初大模型
“紫東太初”跨模態(tài)通用人工智能平臺是由中國科學院自動化研究所研發(fā)的以多模態(tài)大模型為核心、基于全棧國產(chǎn)化基礎軟硬件平臺，可支撐全場景AI應用。
依托面向超大規(guī)模的高效分布式訓練框架，自動化所構建了具有業(yè)界領先性能的中文預訓練模型、語音預訓練模型、視覺預訓練模型，并開拓性地通過跨模態(tài)語義關聯(lián)實現(xiàn)了視覺-文本-語音三模態(tài)統(tǒng)一表示，構建了三模態(tài)預訓練大模型，賦予跨模態(tài)通用人工智能平臺多種核心能力。
可實現(xiàn)文本、圖片、語音、視頻、3D點云、傳感信號等不同模態(tài)的統(tǒng)一表征和學習，助推通用人工智能時代加速到來。
“紫東太初”兼具跨模態(tài)理解和生成能力，具有了在無監(jiān)督情況下多任務聯(lián)合學習、并快速遷移到不同領域數(shù)據(jù)的強大能力。對更廣泛、更多樣的下游任務提供模型基礎支撐，達成AI在如視頻配音、語音播報、標題摘要、海報創(chuàng)作等更多元場景的應用。
在線體驗：https://xihe.mindspore.cn/modelzoo/taichu
了解更多：https://gitee.com/mindspore/zidongtaichu
紫東太初特色
- 全球首個多模態(tài)圖文音預訓練模型
- 多層次多任務自監(jiān)督學習
- 弱關聯(lián)多模態(tài)數(shù)據(jù)語義統(tǒng)一表達
- 兼顧任務感知和推理增強的中文預訓練模型
- 多粒度學習與注意力指導的視覺預訓練模型
- 基于自監(jiān)督預訓練的多任務語音建模技術
中文預訓練模型
文本預訓練模型使用條件語言模型作為自監(jiān)督目標進行訓練，和GPT一樣，模型根據(jù)上文來預測當前詞匯，最終訓練得到的模型可以生成流暢的中文表達。
本次開源的中文文本預訓練模型由40層Transformer組成，隱層維度2560，包含32個注意力頭，共32億參數(shù)。訓練語料豐富多樣，包括新聞、百科、散文等，文本生成能力強大。
中文預訓練模型基礎上還可以進行微調(diào)操作，充分利用少量有監(jiān)督數(shù)據(jù)增強模型在下游任務上的表現(xiàn)，如文本分類，對話生成、古詩創(chuàng)作等；除此之外，中文預訓練模型還能夠?qū)崿F(xiàn)簡單的少樣本學習，如下圖所示，輸入已知的部分樣例，模型能夠捕捉類似的規(guī)律進行文本生成。
