今天,王小川組建的百川智能公司正式發布了70億參數的中英文開源大模型——baichuan-7B。目前,baichuan-7B大模型已在Hugging Face、Github和Model Scope等平臺上發布。
據官方介紹,baichuan-7B是由百川智能開發的一個開源可商用的大規模預訓練語言模型。基于Transformer結構,在大約1.2萬億tokens上訓練的70億參數模型,支持中英雙語,上下文窗口長度為4096。在標準的中文和英文權威benchmark(C-EVAL/MMLU)上均取得同尺寸最好的效果。

百川智能表示,baichuan-7B作為在多個榜單評測效果成績最佳的7B開源可商用大模型,填補了市場上缺乏優質的針對中文優化的7B大模型的空白,是開發者理想的7B大模型底座。
同時在商用價值方面,能夠在例如文本生成,自動化寫作,數據分析,知識問答,中英翻譯,個性化交互和專業領域個人小助手,比如醫療領域,給用戶帶來巨大的價值。
百川智能CEO王小川表示:“本次開源模型的發布是百川智能成立2個月后的第一個里程碑,對百川智能而言是一個良好的開局。baichuan-7B模型,不僅能為中國的AGI事業添磚加瓦,也為世界大模型開源社區貢獻了新的力量。”
Hugging Face:https://huggingface.co/baichuan-inc/baichuan-7B
Github:https://github.com/baichuan-inc/baichuan-7B
Model Scope:https://modelscope.cn/models/baichuan-inc/baichuan-7B/summary
