百川智能發布了 Baichuan2-192K 大模型,具有全球最長的上下文窗口長度,能夠處理約35萬個漢字。
與目前最優秀的大模型 Claude2相比,Baichuan2-192K 的上下文窗口長度超過了4.4倍,超過了 GPT-4的14倍。

Baichuan2-192K 在長窗口文本生成、理解、問答、摘要等方面表現出色,并在10項長文本評測中取得了7項 SOTA 成績。

據悉,Baichuan2-192K 通過算法和工程的優化,實現了窗口長度和模型性能的平衡,采用動態采樣的位置編碼優化和4D 并行的分布式方案。
目前,Baichuan2-192K 已經開始內測,已與法律、媒體、金融等行業的核心合作伙伴合作,將于不久后全面開放。Baichuan2-192K 能夠應用于長篇文檔關鍵信息提取與分析、長文檔摘要、審核、編寫、復雜編程輔助等場景,并為多模態輸入和遷移學習提供支持。
百川大模型官網:https://www.baichuan-ai.com/home
