Gemma是什么？
Gemma是谷歌最新發(fā)布的一款輕量級(jí)開放模型，它采用了與創(chuàng)建Gemini模型相同的研究和技術(shù)，是一個(gè)小尺寸的大語(yǔ)言模型。Gemma是由Google DeepMind和Google其他團(tuán)隊(duì)合作開發(fā)的，并用拉丁語(yǔ)中意為“寶石”的gemma為其命名。
Gemma共有兩個(gè)版本：Gemma 2B（20億參數(shù)）和Gemma 7B（70億參數(shù)），每種規(guī)模都提供了預(yù)訓(xùn)練和指令微調(diào)版本。這些模型尺寸相對(duì)較小，應(yīng)用成本也更低，適合各種規(guī)模的組織（無(wú)論規(guī)模大?。┻M(jìn)行商用和分發(fā)。未來(lái)，Gemma這個(gè)系列還會(huì)發(fā)布更大尺寸的模型。
在訓(xùn)練數(shù)據(jù)上，Gemma主要在大量英文文本數(shù)據(jù)上進(jìn)行訓(xùn)練的，這些數(shù)據(jù)主要來(lái)源于網(wǎng)絡(luò)文檔、數(shù)學(xué)和代碼。具體來(lái)說(shuō)，Gemma 2B模型訓(xùn)練了大約2萬(wàn)億（2T）個(gè)token，而Gemma 7B模型則訓(xùn)練了大約6萬(wàn)億（6T）個(gè)token。
不過(guò)，Gemma沒有接受過(guò)處理圖像或視頻等非文本數(shù)據(jù)的訓(xùn)練，也沒有專門針對(duì)多語(yǔ)言任務(wù)進(jìn)行優(yōu)化。
為了方便開發(fā)者，谷歌不僅開源模型，還附帶開發(fā)套裝，包括全新的“負(fù)責(zé)任生成式AI工具包”，為基于Gemma開發(fā)安全的人工智能應(yīng)用程序提供了必要指導(dǎo)和工具，以及跨主流框架（如JAX、PyTorch及原生Keras 3.0下的TensorFlow）的推理和監(jiān)督微調(diào)（SFT）工具鏈。
各種設(shè)備也已經(jīng)適配好。谷歌已經(jīng)基于英偉達(dá)的GPUs和谷歌云TPUs等多個(gè)AI硬件平臺(tái)，對(duì)Gemma進(jìn)行優(yōu)化，讓模型可以直接在筆記本電腦或臺(tái)式機(jī)上運(yùn)行。
Gemma官網(wǎng)入口：https://ai.google.dev/gemma
Gemma的主要特點(diǎn)
以下是Gemma模型的一些主要特點(diǎn)：
- 模型大小：Gemma提供了兩種大小的模型權(quán)重，分別是Gemma 2B和Gemma 7B，每種大小都有預(yù)訓(xùn)練和指令調(diào)整（instruction-tuned）的變體。
- 負(fù)責(zé)任的生成AI工具包：Google發(fā)布了一個(gè)新的工具包，提供指導(dǎo)和必要工具，幫助開發(fā)者使用Gemma創(chuàng)建更安全的AI應(yīng)用。
- 工具鏈支持：Gemma模型支持在所有主要框架（JAX、PyTorch和TensorFlow通過(guò)原生Keras 3.0）上進(jìn)行推理和監(jiān)督式微調(diào)（SFT）。
- 易用性：提供了預(yù)制的Colab和Kaggle筆記本，以及與Hugging Face MaxText、NVIDIA NeMo TensorRT-LLM等流行工具的集成，使得開始使用Gemma變得容易。預(yù)訓(xùn)練和指令調(diào)整的Gemma模型可以在筆記本電腦、工作站或Google Cloud上運(yùn)行，并且可以輕松部署在Vertex AI和Google Kubernetes Engine（GKE）上。
- 性能優(yōu)化：Gemma模型在多個(gè)AI硬件平臺(tái)上進(jìn)行了優(yōu)化，包括NVIDIA GPU和Google Cloud TPUs，確保了行業(yè)領(lǐng)先的性能。
- 負(fù)責(zé)任的設(shè)計(jì)：Gemma在設(shè)計(jì)時(shí)遵循了Google的AI原則。為了確保預(yù)訓(xùn)練模型的安全和可靠性，Google使用了自動(dòng)化技術(shù)從訓(xùn)練集中過(guò)濾掉某些個(gè)人信息和其他敏感數(shù)據(jù)。此外，通過(guò)人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）對(duì)指令調(diào)整模型進(jìn)行了廣泛的微調(diào)，以確保模型行為的負(fù)責(zé)任性。Google還進(jìn)行了包括手動(dòng)紅隊(duì)測(cè)試、自動(dòng)化對(duì)抗性測(cè)試和模型能力評(píng)估在內(nèi)的嚴(yán)格評(píng)估。
- 跨框架、工具和硬件優(yōu)化：Gemma模型可以在多種工具和系統(tǒng)上進(jìn)行微調(diào)，以適應(yīng)特定應(yīng)用需求，如摘要或檢索增強(qiáng)生成（RAG）。Gemma支持多種工具和系統(tǒng)，包括跨設(shè)備兼容性和與NVIDIA GPU的優(yōu)化。
- 免費(fèi)資源：為了支持開發(fā)者和研究人員，Google提供了Kaggle的免費(fèi)訪問(wèn)、Colab筆記本的免費(fèi)層級(jí)，以及首次使用Google Cloud的300美元信用額度。研究人員還可以申請(qǐng)高達(dá)50萬(wàn)美元的Google Cloud信用額度以加速他們的項(xiàng)目。
Google期待隨著Gemma模型家族的擴(kuò)展，將引入更多針對(duì)不同應(yīng)用的新變體，并在接下來(lái)的幾周內(nèi)提供連接、學(xué)習(xí)和與Gemma共同構(gòu)建的活動(dòng)和機(jī)會(huì)。
Gemma的評(píng)測(cè)結(jié)果
在Gemma的技術(shù)報(bào)告中，谷歌放出了大量訓(xùn)練細(xì)節(jié)，其中就包括Llama-2的測(cè)試對(duì)比結(jié)果圖，大多數(shù)指標(biāo)都超過(guò)了Llama-2。
在測(cè)試中，Gemma模型在18個(gè)文本任務(wù)中的11個(gè)上超越了同樣規(guī)模的開放模型。它在問(wèn)答、常識(shí)推理、數(shù)學(xué)和科學(xué)以及編程等領(lǐng)域表現(xiàn)出色。Gemma 7B模型在70億參數(shù)規(guī)模的語(yǔ)言模型中表現(xiàn)最佳，甚至超過(guò)了一些參數(shù)量更大的模型。
而最近風(fēng)頭正盛，號(hào)稱要做“歐洲版OpenAI”的MistralAI是開源領(lǐng)域的新勢(shì)力，旗下的Mistral 7B被譽(yù)為是“最強(qiáng)7B模型”。
在問(wèn)答、推理、數(shù)學(xué)/科學(xué)、代碼場(chǎng)景里，Gemma的表現(xiàn)同樣領(lǐng)先。
如何使用Gemma？
1、個(gè)人用戶體驗(yàn)地址：https://huggingface.co/chat，模型里選擇Gemma即可體驗(yàn)。
2、開發(fā)者使用：Gemma提供了面向開發(fā)者的快速入門指南，開發(fā)者和研究人員可以通過(guò)ai.google.dev/gemma了解更多關(guān)于Gemma的信息，并獲取快速入門指南。
