Gemma-谷歌發(fā)布的最新開放模型，小尺寸可商用

AI訓(xùn)練模型
24年2月22日
編輯

AIHubAI布道師

Gemma是什么？

Gemma是谷歌最新發(fā)布的一款輕量級開放模型，它采用了與創(chuàng)建Gemini模型相同的研究和技術(shù)，是一個小尺寸的大語言模型。Gemma是由Google DeepMind和Google其他團隊合作開發(fā)的，并用拉丁語中意為“寶石”的gemma為其命名。

Gemma共有兩個版本：Gemma 2B（20億參數(shù)）和Gemma 7B（70億參數(shù)），每種規(guī)模都提供了預(yù)訓(xùn)練和指令微調(diào)版本。這些模型尺寸相對較小，應(yīng)用成本也更低，適合各種規(guī)模的組織（無論規(guī)模大小）進行商用和分發(fā)。未來，Gemma這個系列還會發(fā)布更大尺寸的模型。

在訓(xùn)練數(shù)據(jù)上，Gemma主要在大量英文文本數(shù)據(jù)上進行訓(xùn)練的，這些數(shù)據(jù)主要來源于網(wǎng)絡(luò)文檔、數(shù)學(xué)和代碼。具體來說，Gemma 2B模型訓(xùn)練了大約2萬億（2T）個token，而Gemma 7B模型則訓(xùn)練了大約6萬億（6T）個token。

不過，Gemma沒有接受過處理圖像或視頻等非文本數(shù)據(jù)的訓(xùn)練，也沒有專門針對多語言任務(wù)進行優(yōu)化。

為了方便開發(fā)者，谷歌不僅開源模型，還附帶開發(fā)套裝，包括全新的“負責(zé)任生成式AI工具包”，為基于Gemma開發(fā)安全的人工智能應(yīng)用程序提供了必要指導(dǎo)和工具，以及跨主流框架（如JAX、PyTorch及原生Keras 3.0下的TensorFlow）的推理和監(jiān)督微調(diào)（SFT）工具鏈。

各種設(shè)備也已經(jīng)適配好。谷歌已經(jīng)基于英偉達的GPUs和谷歌云TPUs等多個AI硬件平臺，對Gemma進行優(yōu)化，讓模型可以直接在筆記本電腦或臺式機上運行。

Gemma官網(wǎng)入口：https://ai.google.dev/gemma

Gemma的主要特點

以下是Gemma模型的一些主要特點：

模型大小：Gemma提供了兩種大小的模型權(quán)重，分別是Gemma 2B和Gemma 7B，每種大小都有預(yù)訓(xùn)練和指令調(diào)整（instruction-tuned）的變體。
負責(zé)任的生成AI工具包：Google發(fā)布了一個新的工具包，提供指導(dǎo)和必要工具，幫助開發(fā)者使用Gemma創(chuàng)建更安全的AI應(yīng)用。
工具鏈支持：Gemma模型支持在所有主要框架（JAX、PyTorch和TensorFlow通過原生Keras 3.0）上進行推理和監(jiān)督式微調(diào)（SFT）。
易用性：提供了預(yù)制的Colab和Kaggle筆記本，以及與Hugging Face MaxText、NVIDIA NeMo TensorRT-LLM等流行工具的集成，使得開始使用Gemma變得容易。預(yù)訓(xùn)練和指令調(diào)整的Gemma模型可以在筆記本電腦、工作站或Google Cloud上運行，并且可以輕松部署在Vertex AI和Google Kubernetes Engine（GKE）上。
性能優(yōu)化：Gemma模型在多個AI硬件平臺上進行了優(yōu)化，包括NVIDIA GPU和Google Cloud TPUs，確保了行業(yè)領(lǐng)先的性能。
負責(zé)任的設(shè)計：Gemma在設(shè)計時遵循了Google的AI原則。為了確保預(yù)訓(xùn)練模型的安全和可靠性，Google使用了自動化技術(shù)從訓(xùn)練集中過濾掉某些個人信息和其他敏感數(shù)據(jù)。此外，通過人類反饋的強化學(xué)習(xí)（RLHF）對指令調(diào)整模型進行了廣泛的微調(diào)，以確保模型行為的負責(zé)任性。Google還進行了包括手動紅隊測試、自動化對抗性測試和模型能力評估在內(nèi)的嚴格評估。
跨框架、工具和硬件優(yōu)化：Gemma模型可以在多種工具和系統(tǒng)上進行微調(diào)，以適應(yīng)特定應(yīng)用需求，如摘要或檢索增強生成（RAG）。Gemma支持多種工具和系統(tǒng)，包括跨設(shè)備兼容性和與NVIDIA GPU的優(yōu)化。
免費資源：為了支持開發(fā)者和研究人員，Google提供了Kaggle的免費訪問、Colab筆記本的免費層級，以及首次使用Google Cloud的300美元信用額度。研究人員還可以申請高達50萬美元的Google Cloud信用額度以加速他們的項目。

Google期待隨著Gemma模型家族的擴展，將引入更多針對不同應(yīng)用的新變體，并在接下來的幾周內(nèi)提供連接、學(xué)習(xí)和與Gemma共同構(gòu)建的活動和機會。

Gemma的評測結(jié)果

在Gemma的技術(shù)報告中，谷歌放出了大量訓(xùn)練細節(jié)，其中就包括Llama-2的測試對比結(jié)果圖，大多數(shù)指標都超過了Llama-2。

在測試中，Gemma模型在18個文本任務(wù)中的11個上超越了同樣規(guī)模的開放模型。它在問答、常識推理、數(shù)學(xué)和科學(xué)以及編程等領(lǐng)域表現(xiàn)出色。Gemma 7B模型在70億參數(shù)規(guī)模的語言模型中表現(xiàn)最佳，甚至超過了一些參數(shù)量更大的模型。

而最近風(fēng)頭正盛，號稱要做“歐洲版OpenAI”的MistralAI是開源領(lǐng)域的新勢力，旗下的Mistral 7B被譽為是“最強7B模型”。

在問答、推理、數(shù)學(xué)/科學(xué)、代碼場景里，Gemma的表現(xiàn)同樣領(lǐng)先。

如何使用Gemma？

1、個人用戶體驗地址：https://huggingface.co/chat，模型里選擇Gemma即可體驗。

2、開發(fā)者使用：Gemma提供了面向開發(fā)者的快速入門指南，開發(fā)者和研究人員可以通過ai.google.dev/gemma了解更多關(guān)于Gemma的信息，并獲取快速入門指南。

?版權(quán)聲明：如無特殊說明，本站所有內(nèi)容均為AIHub.cn原創(chuàng)發(fā)布和所有。任何個人或組織，在未征得本站同意時，禁止復(fù)制、盜用、采集、發(fā)布本站內(nèi)容到任何網(wǎng)站、書籍等各類媒體平臺。否則，我站將依法保留追究相關(guān)法律責(zé)任的權(quán)利。