ChatGLM：智譜 AI 發布的中英雙語千億對話模型

AI訓練模型
23年6月12日
編輯

AIHubAI布道師

ChatGLM是什么？

ChatGLM是智譜 AI 發布的中英雙語千億對話模型。基于千億基座模型 GLM-130B，注入代碼預訓練，通過有監督微調等技術實現人類意圖對齊，具備問答、多輪對話、代碼生成功能的中英雙語大模型。

內測申請網址：https://chatglm.cn/

開源地址：https://github.com/THUDM/ChatGLM-6B

ChatGLM可以做什么？

ChatGLM系列模型具備以下主要能力：

邏輯推理：模型具備廣博的知識面以及靈活的知識關聯能力，并通過注入代碼預訓練加強了推理能力；可以根據輸入的指令提示，迅速聯想出相關的大量知識及概念，并找出最適合的推理鏈條。
內容創作：模型可以根據用戶的輸入生成相關的內容，這可以用于自動寫作，生成文章，故事，詩歌等。
代碼生成：通過注入代碼預訓練，模型可以生成代碼，這可以用于自動編程，代碼補全等。
信息提取：模型可以從輸入的文本中提取關鍵信息，這可以用于文本分析，信息摘要等。
問答和多輪對話：模型可以理解和回答用戶的問題，也可以進行多輪的對話。這可以用于構建智能對話系統，如聊天機器人，客服機器人等。

以上是智譜AI語言大模型的主要能力，具體的應用可能會根據模型的版本和配置有所不同。

ChatGLM有什么特性？

具體來說，ChatGLM-6B具備以下特點：

充分的中英雙語預訓練：ChatGLM-6B在1:1比例的中英語料上訓練了1T的token量，兼具雙語能力。
優化的模型架構和大小：吸取GLM-130B訓練經驗，修正了二維RoPE位置編碼實現，使用傳統FFN結構。6B（62億）的參數大小，也使得研究者和個人開發者自己微調和部署ChatGLM-6B成為可能。
較低的部署門檻：FP16 半精度下，ChatGLM-6B 需要至少 13 GB 的顯存進行推理，結合模型量化技術，這一需求可以進一步降低到 10GB（INT8）和 6GB（INT4），使得 ChatGLM-6B 可以部署在消費級顯卡上。
更長的序列長度：相比 GLM-10B（序列長度1024），ChatGLM-6B序列長度達2048，支持更長對話和應用。
人類意圖對齊訓練：使用了監督微調（Supervised Fine-Tuning）、反饋自助（Feedback Bootstrap）、人類反饋強化學習（Reinforcement Learning from Human Feedback）等方式，使模型初具理解人類指令意圖的能力。輸出格式為markdown，方便展示。

ChatGLM成果演示

由ChatGLM生成的對話效果展示：

關于智譜AI

智譜AI由清華大學計算機系的技術成果轉化而來，致力于打造新一代認知智能通用模型，提出了Model as a Service（MaaS）的市場理念。

公司于2021年合作研發了雙語千億級超大規模預訓練模型GLM-130B，并主導構建了高精度通用知識圖譜，把兩者有機融合為數據與知識雙輪驅動的認知引擎，并基于此千億基座模型打造 ChatGLM （chatglm.cn）。此外，智譜AI也推出了認知大模型平臺Bigmodel.ai，形成AIGC產品矩陣，包括高效率代碼模型CodeGeeX、高精度文圖生成模型CogView等，提供智能API服務。通過認知大模型鏈接物理世界的億級用戶、賦能元宇宙數字人、成為具身機器人的基座，賦予機器像人一樣“思考”的能力。

智譜 AI 官網：https://www.zhipuai.cn/