這篇文章揭示了OpenAI的GPT-4的內(nèi)部細節(jié)，包括其架構(gòu)、訓(xùn)練和推理的基礎(chǔ)設(shè)施、參數(shù)量、訓(xùn)練數(shù)據(jù)集、token數(shù)、成本等。GPT-4的規(guī)模是GPT-3的10倍以上，擁有1.8萬億參數(shù)。OpenAI使用了混合專家模型（Mixture of Experts，MoE）來構(gòu)建GPT-4，以保持合理的成本。文章還提到，OpenAI訓(xùn)練GPT-4的FLOPS約為2.15e25，在大約25000個A100上訓(xùn)練了90到100天，利用率在32%到36%之間。訓(xùn)練成本大約是6300萬美元。

此外，文章指出，OpenAI之所以不開源，不是為了確保人類不被AI毀滅，而是因為他們構(gòu)建的東西是可復(fù)制的。預(yù)計未來所有中國和美國的互聯(lián)網(wǎng)大廠或者AI頭部初創(chuàng)企業(yè)，都會有能力構(gòu)建出和GPT-4一樣，甚至是超過GPT-4的模型。但是，GPT-4是OpenAI的偉大杰作，它凝結(jié)了工程師的匠心設(shè)計，復(fù)雜的構(gòu)架和各種巧妙的工程上的取舍。

以上內(nèi)容由ChatGPT總結(jié)。

文章來自新智元，閱讀原文：https://mp.weixin.qq.com/s/iqvdcnwl4pR4jDXn57Yg8Q

?版權(quán)聲明：如無特殊說明，本站所有內(nèi)容均為AIHub.cn原創(chuàng)發(fā)布和所有。任何個人或組織，在未征得本站同意時，禁止復(fù)制、盜用、采集、發(fā)布本站內(nèi)容到任何網(wǎng)站、書籍等各類媒體平臺。否則，我站將依法保留追究相關(guān)法律責(zé)任的權(quán)利。