4月5日凌晨，Open?AI在官網宣布新增6個全新微調API功能，以擴展自定義模型，幫助企業、開發人員更好地構建特定領域、精細化的ChatGPT應用。

這些功能包括：基于Epoch的檢查點創建、Playground新功能、第三方集成、全面驗證指標、超參數配置和更詳細的微調儀表板改進。

新的微調API功能適用于GPT-4/Turbo、GPT-3.5等系列模型。

詳細微調API教程：https://platform.openai.com/docs/guides/fine-tuning

微調API?6個新功能介紹

2023年8月22日，OpenAI首次推出了基于GPT-3.5 Turbo的微調API功能，使企業、開發人員可以使用自己的數據，結合業務用例構建專屬ChatGPT。

經過幾個月的時間，全球數千個組織借助OpenAI的微調API功能，訓練了數十萬個自定義模型實現降本增效。

例如，全球知名招聘平臺Indeed希望新增一項功能，向求職者發送個性化推薦，根據求職者的技能、經驗和偏好突出顯示相關工作。

Indeed通過GPT-3.5 Turbo 進行了微調，生成了高質量和更準確的個性化推薦。每月向求職者發送的消息也從最初不到100萬條，大幅度增加到大約2000萬條。

今天，OpenAI推出了6個新的微調API功能，以幫助開發人員更好地使用微調。

基于Epoch的檢查點創建：在深度學習模型的訓練過程中，基于Epoch的檢查點創建是一項非常重要的功能。每個Epoch結束時或者在特定的Epoch間隔時，系統會自動保存當前模型的狀態，包括模型的參數（權重和偏置）和優化器的狀態。

如果訓練過程因為意外原因（比如硬件故障、電源中斷等）被中斷，檢查點允許我們從最后保存的狀態恢復訓練，而不是從頭開始。

所以，OpenAI新增的基于 Epoch 的檢查點創建功能，可以極大減少模型的重復訓練，尤其是在過度擬合的情況下。

Comparative Playground：Playground是OpenAI在2022年發布的一個可視化模型比較平臺，提供了一個交互式的在線環境，允許用戶輸入指令或提示詞，然后將其發送給多個語言模型查看它們的輸出結果。

本次，OpenAI新增一個并排的Playground UI，用于比較不同模型質量和性能，同時允許對多個模型的輸出進行人工評估或根據單個提示微調快照。

第三方集成：新的微調支持與第三方平臺集成，讓開發人員與堆棧的其余部分共享詳細的微調數據。

全面驗證指標：能夠計算整個驗證數據集（而不是采樣批次）的損失和準確性等指標，從而更好地了解模型質量。

超參數配置：可以從儀表板配置可用的超參數，而不僅僅是通過API或SDK。

微調儀表板改進：包括配置超參數、查看更詳細的訓練指標以及從以前的配置重新運行作業等功能。這也就是說，開發人員在微調的過程中可以掌控更詳細、直觀的微調數據。

什么是微調？

微調（Fine-tuning）是一種在預訓練大模型的基礎上，進一步優化和調整模型參數的技術，使模型更好地適應特定業務場景。這個過程中，模型的參數會進行微小的調整。

微調的主要流程包括：

初始化，使用預訓練語言模型的參數對新模型進行初始化；添加輸出層，根據下游任務的目標(文本生成、內容摘要等)在預訓練模型的頂層添加相應的輸出層；微調訓練，使用帶標注的私有數據，以較小的學習率對整個模型進行訓練，直至模型在驗證集上的指標達到理想效果。

例如，我們希望GPT3.5模型在法律業務上的表現更好、更專業，可以用海量法律數據集對模型進行微調。經過微調，模型學習到如何更好地解讀、生成和預測法律問題。

如何進行微調？

1、準備數據，創建一組多樣化的演示對話，類似于要求模型在實際輸出中的對話。數據集中的每個示例都應該與OpenAI的聊天完成 API 格式相同的對話，特別是消息列表，其中每條消息都有角色、內容和可選名稱。

2、上傳文件

3、創建微調作業，使用 OpenAI SDK開始進行大規模數據訓練、微調。訓練模型可能需要幾分鐘或幾小時，具體取決于模型和數據集大小。

模型訓練完成后，創建微調作業的用戶將收到一封確認電子郵件。

除了創建微調作業外，開發者還可以列出現有作業、檢索作業狀態或取消作業。

4、使用微調模型，微調作業完成后模型可以投入使用了。

在某些情況下，用戶的微調模型可能需要幾分鐘才能準備好處理請求。如果對模型的請求超時或找不到模型名稱，可能是因為模型仍在加載中，可在幾分鐘后重試。