這篇文章揭示了OpenAI的GPT-4的內部細節，包括其架構、訓練和推理的基礎設施、參數量、訓練數據集、token數、成本等。GPT-4的規模是GPT-3的10倍以上，擁有1.8萬億參數。OpenAI使用了混合專家模型（Mixture of Experts，MoE）來構建GPT-4，以保持合理的成本。文章還提到，OpenAI訓練GPT-4的FLOPS約為2.15e25，在大約25000個A100上訓練了90到100天，利用率在32%到36%之間。訓練成本大約是6300萬美元。
此外，文章指出，OpenAI之所以不開源，不是為了確保人類不被AI毀滅，而是因為他們構建的東西是可復制的。預計未來所有中國和美國的互聯網大廠或者AI頭部初創企業，都會有能力構建出和GPT-4一樣，甚至是超過GPT-4的模型。但是，GPT-4是OpenAI的偉大杰作，它凝結了工程師的匠心設計，復雜的構架和各種巧妙的工程上的取舍。
以上內容由ChatGPT總結。
文章來自新智元，閱讀原文：https://mp.weixin.qq.com/s/iqvdcnwl4pR4jDXn57Yg8Q
?版權聲明：如無特殊說明，本站所有內容均為AIHub.cn原創發布和所有。任何個人或組織，在未征得本站同意時，禁止復制、盜用、采集、發布本站內容到任何網站、書籍等各類媒體平臺。否則，我站將依法保留追究相關法律責任的權利。
