Llama 4 是什么？
Llama 4 是 Meta 發(fā)布的最新一代開源大模型，包含Llama 4 Scout 、Llama 4 Maverick 和Llama 4 Behemoth 3個(gè)版本，具備原生多模態(tài)能力，可處理文本和圖像的聯(lián)合輸入，支持圖文問答、多圖理解等復(fù)雜任務(wù)。模型采用高效的 MoE（混合專家）架構(gòu)，推理速度更快、成本更低，且上下文窗口長達(dá) 1000 萬 tokens，遠(yuǎn)超同類模型。Llama 4 在代碼生成、圖像理解、數(shù)學(xué)推理等任務(wù)上的表現(xiàn)優(yōu)于 GPT-4o 和 Gemini 2.0，被視為當(dāng)前最強(qiáng)開源大模型之一，現(xiàn)已全面開放下載和部署。
Llama 4 包含的三個(gè)模型
| 模型名稱 | 參數(shù)規(guī)模 | 模型類型 | 核心特點(diǎn) |
|---|---|---|---|
| Llama 4 Scout | 17B 活躍參數(shù) / 109B 總參數(shù) | 多模態(tài) / MoE | 單卡可運(yùn)行，上下文支持 1000 萬，圖文理解出色 |
| Llama 4 Maverick | 17B 活躍參數(shù) / 400B 總參數(shù) | 多模態(tài) / MoE | 支持圖文生成、推理、代碼，多項(xiàng)評測超越 GPT-4o |
| Llama 4 Behemoth（預(yù)覽） | 288B 活躍參數(shù) / 近 2T 總參數(shù) | 多模態(tài) / 教師模型 | STEM 能力領(lǐng)先，是內(nèi)部 distill 教師模型 |
Llama 4 的主要特點(diǎn)
1. 原生多模態(tài)設(shè)計(jì)
Llama 4 支持圖文（文字 + 圖片）聯(lián)合輸入，是 Meta 首個(gè)「原生多模態(tài)」開源模型，具備以下特點(diǎn)：
- 圖文早期融合（Early Fusion）
- 支持多張圖像理解（實(shí)測最高支持 8 張圖）
- 圖像定位能力強(qiáng)，適用于 VQA（圖像問答）、圖文聯(lián)想等任務(wù)
2. 超長上下文處理能力
- Llama 4 Scout 支持最長 10,000,000 tokens 上下文窗口
- 使用創(chuàng)新架構(gòu) iRoPE（interleaved Rotary Position Embedding）
- 適合多文檔總結(jié)、長代碼理解、搜索增強(qiáng)生成（RAG）
3. MoE 架構(gòu)加速推理
- 使用混合專家機(jī)制（Mixture of Experts）提升效率與性能
- 每次只激活部分參數(shù)，推理成本更低、速度更快
- Maverick 模型使用 128 個(gè)專家 + 共享專家，實(shí)際部署可落地單張 H100 卡
4. 訓(xùn)練策略更先進(jìn)
- 大量使用多語言數(shù)據(jù)（200+種語言，100億級 token）
- 使用 FP8 精度訓(xùn)練 + 自研超參數(shù)設(shè)定策略（MetaP）
- 高效蒸餾：Llama 4 Maverick 從 Behemoth 模型 distill 得到，質(zhì)量顯著提升
5. 安全與公平性
- 集成了 Llama Guard、Prompt Guard 等安全機(jī)制
- GOAT 自動化紅隊(duì)測試框架上線，應(yīng)對對抗性攻擊
- 相比 Llama 3 拒答率大幅下降，政治立場更中立、響應(yīng)更平衡
Llama 4 的性能評測
- 對話能力強(qiáng)
- Llama 4 Maverick 在 LMArena 得分 1417，超過 Claude 3 Sonnet、GPT-4o 等主流模型
- 多輪問答、指令理解表現(xiàn)優(yōu)異
- 圖像理解表現(xiàn)出色
- 原生多模態(tài)支持圖文輸入，多圖處理能力強(qiáng)（最多支持 8 張圖）
- 在 VQAv2、MMBench 等評測中超過 GPT-4o、Gemini Flash
- 數(shù)學(xué)與推理能力穩(wěn)定提升
- 在 GSM8K、MATH 等測試中表現(xiàn)接近 GPT-4 Turbo
- 步驟推理清晰，符號理解能力強(qiáng)
- 代碼能力扎實(shí)
- 支持多語言代碼生成和多輪代碼補(bǔ)全
- HumanEval 和 MBPP 得分接近 DeepSeek v3.1、Mistral Large
- 上下文窗口超長
- Scout 模型支持最長 10,000,000 tokens（遠(yuǎn)超 GPT-4o 的 128K）
- 適合文檔總結(jié)、RAG 檢索增強(qiáng)等場景
- 效率與部署優(yōu)勢明顯
- MoE 架構(gòu)推理成本更低，單卡可運(yùn)行 Scout
- Maverick 支持多云部署、企業(yè)級集成
Llama 4 下載與體驗(yàn)方式
Llama 4 Scout 與 Maverick 均已開放權(quán)重下載，支持 Hugging Face、llama.com、自部署、多云部署，已集成于 Meta AI 產(chǎn)品（WhatsApp、Messenger、Instagram Direct）
- 在線體驗(yàn)：https://meta.ai/
- 下載地址：https://www.llama.com
- Hugging Face 頁面：Llama 4 Models
?版權(quán)聲明：如無特殊說明，本站所有內(nèi)容均為AIHub.cn原創(chuàng)發(fā)布和所有。任何個(gè)人或組織，在未征得本站同意時(shí)，禁止復(fù)制、盜用、采集、發(fā)布本站內(nèi)容到任何網(wǎng)站、書籍等各類媒體平臺。否則，我站將依法保留追究相關(guān)法律責(zé)任的權(quán)利。
