国产99久久久国产精品,色噜噜偷拍精品综合在线,亚洲精品国产a

Gemma是什么？

Gemma是谷歌最新發布的一款輕量級開放模型，它采用了與創建Gemini模型相同的研究和技術，是一個小尺寸的大語言模型。Gemma是由Google DeepMind和Google其他團隊合作開發的，并用拉丁語中意為“寶石”的gemma為其命名。

Gemma共有兩個版本：Gemma 2B（20億參數）和Gemma 7B（70億參數），每種規模都提供了預訓練和指令微調版本。這些模型尺寸相對較小，應用成本也更低，適合各種規模的組織（無論規模大小）進行商用和分發。未來，Gemma這個系列還會發布更大尺寸的模型。

在訓練數據上，Gemma主要在大量英文文本數據上進行訓練的，這些數據主要來源于網絡文檔、數學和代碼。具體來說，Gemma 2B模型訓練了大約2萬億（2T）個token，而Gemma 7B模型則訓練了大約6萬億（6T）個token。

不過，Gemma沒有接受過處理圖像或視頻等非文本數據的訓練，也沒有專門針對多語言任務進行優化。

為了方便開發者，谷歌不僅開源模型，還附帶開發套裝，包括全新的“負責任生成式AI工具包”，為基于Gemma開發安全的人工智能應用程序提供了必要指導和工具，以及跨主流框架（如JAX、PyTorch及原生Keras 3.0下的TensorFlow）的推理和監督微調（SFT）工具鏈。

各種設備也已經適配好。谷歌已經基于英偉達的GPUs和谷歌云TPUs等多個AI硬件平臺，對Gemma進行優化，讓模型可以直接在筆記本電腦或臺式機上運行。

Gemma官網入口：https://ai.google.dev/gemma

Gemma的主要特點

以下是Gemma模型的一些主要特點：

模型大小：Gemma提供了兩種大小的模型權重，分別是Gemma 2B和Gemma 7B，每種大小都有預訓練和指令調整（instruction-tuned）的變體。
負責任的生成AI工具包：Google發布了一個新的工具包，提供指導和必要工具，幫助開發者使用Gemma創建更安全的AI應用。
工具鏈支持：Gemma模型支持在所有主要框架（JAX、PyTorch和TensorFlow通過原生Keras 3.0）上進行推理和監督式微調（SFT）。
易用性：提供了預制的Colab和Kaggle筆記本，以及與Hugging Face MaxText、NVIDIA NeMo TensorRT-LLM等流行工具的集成，使得開始使用Gemma變得容易。預訓練和指令調整的Gemma模型可以在筆記本電腦、工作站或Google Cloud上運行，并且可以輕松部署在Vertex AI和Google Kubernetes Engine（GKE）上。
性能優化：Gemma模型在多個AI硬件平臺上進行了優化，包括NVIDIA GPU和Google Cloud TPUs，確保了行業領先的性能。
負責任的設計：Gemma在設計時遵循了Google的AI原則。為了確保預訓練模型的安全和可靠性，Google使用了自動化技術從訓練集中過濾掉某些個人信息和其他敏感數據。此外，通過人類反饋的強化學習（RLHF）對指令調整模型進行了廣泛的微調，以確保模型行為的負責任性。Google還進行了包括手動紅隊測試、自動化對抗性測試和模型能力評估在內的嚴格評估。
跨框架、工具和硬件優化：Gemma模型可以在多種工具和系統上進行微調，以適應特定應用需求，如摘要或檢索增強生成（RAG）。Gemma支持多種工具和系統，包括跨設備兼容性和與NVIDIA GPU的優化。
免費資源：為了支持開發者和研究人員，Google提供了Kaggle的免費訪問、Colab筆記本的免費層級，以及首次使用Google Cloud的300美元信用額度。研究人員還可以申請高達50萬美元的Google Cloud信用額度以加速他們的項目。