Llama 3.2：Meta最新推出的開源模型，包括視覺大語言模型和設備端純文本模型

AI訓練模型
24年9月26日
編輯

AIHubAI布道師

Llama 3.2是什么？

Llama 3.1是Meta最新推出的開源大語言模型，包括90B和11B兩種參數規格的視覺大語言模型，還有能在設備端本地運行的1B和3B輕量級純文本模型，包括預訓練和指令調整版。1B和3B模型支持128K tokens上下文，適配高通和聯發科硬件，并針對Arm處理器做了優化。

Llama 3.2：Meta最新推出的開源模型，包括視覺大語言模型和設備端純文本模型

Llama 3.2的主要特性

輕量級文本模型：1B 和 3B 模型專為移動和邊緣設備設計，具備較小的模型尺寸，但依然提供強大的文本生成和處理能力。支持 128K tokens 的大上下文處理，適合文本總結、重寫和指令跟隨等任務。
視覺模型：11B 和 90B 模型能夠處理圖像理解任務，支持多模態任務（圖像與文本結合），例如文檔理解、圖像生成描述、視覺推理和目標識別。該模型通過圖像編碼器與語言模型集成，能夠處理復雜的視覺問題。
本地處理與隱私保護：Llama 3.2 模型可以在設備上本地運行，極大減少了數據傳輸延遲，并增強了數據隱私保護。這使其特別適用于需要高效處理和高隱私要求的場景，例如手機、平板和物聯網設備。
開放和可定制性：Llama 3.2 強調開放性，允許開發者自由下載、修改和定制模型，適應各種不同的應用需求。用戶可以根據需要使用開源工具進行微調，如 torchtune（微調）和 torchchat（部署）。
廣泛硬件支持：Llama 3.2 對 Qualcomm、MediaTek 和 Arm 等移動硬件平臺進行了優化，使其可以在絕大多數現代設備上高效運行。此外，還支持 AMD、NVIDIA、Intel、AWS、Google Cloud 等主流云平臺和硬件。
Llama Stack 開發工具：Llama 3.2 提供了一整套工具（Llama Stack），包括 CLI、API 和 Docker 容器，幫助開發者在不同的環境中輕松部署模型，支持從單節點到云端的多種部署方式。
高效模型壓縮與知識蒸餾：Llama 3.2 通過模型修剪和知識蒸餾技術來壓縮模型，減小了模型的尺寸而不犧牲其性能。這一優化使得 1B 和 3B 模型可以在資源有限的設備上高效運行。
多語言支持：Llama 3.2 在多語言生成和工具調用方面表現出色，能夠處理多種語言的文本生成和理解任務，適用于全球化應用場景。
安全性增強：Llama 3.2 配備了 Llama Guard，這是一套保護系統，能夠過濾不適當的輸入和輸出，確保模型在文本和圖像處理時保持安全與負責。

Llama 3.2的性能評測

3B模型在遵循指令、總結、快速重寫和工具使用等任務上的表現優于Gemma 2 2.6B、Phi 3.5-mini模型。1B模型的表現媲美Gemma。

90B和11B視覺模型是其相應文本模型的直接替代品，同時在圖像理解任務上的表現優于封閉模型，如Claude 3 Haiku、GPT-4o mini。

如何使用Llama 3.2？

1、企業和開發者：

Llama 3.2 現已于?Meta 官網和?Hugging Face?開放下載，也可以在其合作伙伴平臺上進行開發，包括 AMD、AWS、Databricks、Dell、Google Cloud、Groq、IBM、Intel、Microsoft Azure、NVIDIA、Oracle Cloud、Snowflake 等。