2025年6月30日，百度宣布文心4.5系列模型正式開源。此次開源包括10款不同規模的模型，其中包括參數量為47B和3B的混合專家（MoE）模型，以及0.3B的稠密參數模型。文心4.5的開源文件包括預訓練權重和推理代碼，已上傳至Hugging Face、GitHub以及飛槳星河社區，供全球開發者使用。

主要技術特點

1. 多模態混合專家模型預訓練

文心4.5通過聯合訓練文本和視覺兩種模態來提高模型在多模態任務中的表現。該模型使用了多模態異構混合專家結構，結合了多維旋轉位置編碼，并在損失函數計算中增強了專家間的正交性。這一架構旨在提升模型對多模態信息的理解，同時保持不同模態的獨立性。

2. 高效的訓練與推理框架

文心4.5在訓練過程中采用了異構混合并行和負載均衡策略，提升了訓練吞吐量。推理方面，采用了量化技術（如4-bit和2-bit量化），以減少計算開銷，并通過動態角色轉換和解碼分離部署等技術優化推理過程。這些措施旨在提高在不同硬件平臺上的推理性能。

3. 后訓練優化

文心4.5還對模型進行了后訓練，以適應不同的實際應用需求。大語言模型（LLM）側重于語言理解與生成任務，而多模態模型則優化了視覺語言理解。每個模型通過多階段的后訓練技術（如SFT和DPO）進行進一步優化，以確保其在特定任務中的表現。

性能表現

文心4.5系列模型在多個基準測試中取得了良好的成績。例如，ERNIE-4.5-300B-A47B模型在28個基準測試中超過了DeepSeek-V3模型，特別是在推理和知識密集型任務方面表現較好。ERNIE-4.5-21B-A3B模型盡管參數量較小，但在多個數學和推理任務中表現出了競爭力。

開源與開發工具

為了支持開發者的使用，文心4.5系列模型提供了一些開源工具：

• ERNIEKit：這是一個大模型開發套件，支持精調、量化訓練等功能，幫助開發者快速適應模型的開發和部署。
• FastDeploy：這是一個模型部署工具，支持多硬件平臺并優化了低比特量化推理，簡化了部署過程。

這些工具的發布旨在幫助開發者更高效地使用和部署文心4.5模型。

如何使用文心4.5系列模型？

1、個人用戶：

文心4.5系列模型已上線到文心一言（https://yiyan.baidu.com），支持免費體驗。

2、企業和開發者：

• GitHub倉庫：https://github.com/PaddlePaddle/ERNIE
• Hugging Face模型：https://huggingface.co/baidu
• 飛槳星河社區：https://aistudio.baidu.com/
• 技術報告：https://yiyan.baidu.com/blog/publication/ERNIE_Technical_Report.pdf