Llama 3是什么？
Llama 3是一款由Meta推出的新一代開源人工智能大語言模型，Llama-3 包含 8B（80億參數(shù)）、70B（700億參數(shù)）兩個版本，分為基礎(chǔ)預(yù)訓(xùn)練和指令微調(diào)兩種模型，還有一個超4000億參數(shù)正在訓(xùn)練中。
與Llama-2相比，Llama-3使用了15T tokens的訓(xùn)練數(shù)據(jù)，在推理、數(shù)學(xué)、代碼生成、指令跟蹤等能力獲得大幅度提升。
此外，Llama-3還使用了分組查詢注意力、掩碼等創(chuàng)新技術(shù)，幫助開發(fā)者以最低的能耗獲取絕佳的性能。很快，Meta就會發(fā)布Llama-3的論文。
Llama 3的亮點(diǎn)特性
- 模型架構(gòu)：Llama 3采用了高效的Transformer架構(gòu)，具有128K token的分詞器，以及分組查詢注意力（Grouped Query Attention）技術(shù)，提升了模型在處理長序列時的效率。
- 大規(guī)模預(yù)訓(xùn)練：Llama 3基于超過15萬億tokens進(jìn)行預(yù)訓(xùn)練，數(shù)據(jù)集規(guī)模是前代Llama 2的七倍，代碼數(shù)據(jù)量增加了四倍。
- 多語言支持：預(yù)訓(xùn)練數(shù)據(jù)中超過5%是非英語的高質(zhì)量數(shù)據(jù)，覆蓋超過30種語言，盡管主要性能仍以英語為主。
- 錯誤減少：Llama 3設(shè)計(jì)上減少了錯誤拒絕的情況，即模型能夠更準(zhǔn)確地判斷無害的提示并給出回應(yīng)。
- 指令微調(diào)：Llama 3在后訓(xùn)練階段采用了多種技術(shù)，包括監(jiān)督式微調(diào)、拒絕抽樣、近端策略優(yōu)化和直接策略優(yōu)化，以提升模型在特定任務(wù)上的表現(xiàn)。
Llama 3 的測試結(jié)果
Meta聲稱Llama 3在關(guān)鍵基準(zhǔn)測試中優(yōu)于同類競爭模型，尤其是在編程等任務(wù)上。此外，通過“大海撈針”測試，即在長文本中識別并準(zhǔn)確回答一個無關(guān)句子的能力，Llama 3展現(xiàn)了其卓越的性能。
在MMLU、HumanEval和GSM-8K上，Llama 3 70B擊敗了Gemini 1.5 Pro。盡管無法與Anthropic性能最強(qiáng)的模型 Claude 3 Opus媲美，但 Llama 3 70B的性能，已經(jīng)優(yōu)于Claude 3系列的中杯模型Sonnet。
在Meta組織的人類反饋評分中，Llama 3 70B打敗了Mistral、OpenAI、Claude發(fā)布的對應(yīng)產(chǎn)品。
這個人類反饋測試更貼近用戶實(shí)際的使用體驗(yàn)，包括了最常見的大模型使用場景：頭腦風(fēng)暴、創(chuàng)意寫作、角色扮演、復(fù)述、推理、總結(jié)等。
如何使用Llama 3？
開發(fā)人員：
Llama 3模型已經(jīng)在 Hugging Face、GitHub 和Replicate上開源，下面是入口：
- Llama 3官網(wǎng)鏈接：https://llama.meta.com/llama3
- 模型下載鏈接：https://llama.meta.com/llama-downloads/
- Hugging Face鏈接：https://huggingface.co/meta-llama
- Replicate鏈接：https://replicate.com/meta
- GitHub項(xiàng)目地址：https://github.com/meta-llama/llama3
另外，Llama 3模型將很快在AWS，Databricks，Google Cloud，Hugging Face，Kaggle，IBM WatsonX，Microsoft Azure，NVIDIA NIM和Snowflake上提供，并獲得AMD，AWS，戴爾，英特爾，NVIDIA和高通提供的硬件平臺的支持。
普通用戶：
對于不懂技術(shù)的普通用戶，可以通過下面網(wǎng)址體驗(yàn)：
- Meta AI官網(wǎng)：通過Meta.ai體驗(yàn)Llama 3模型。（限制了國家和地區(qū)，可能會打不開）如果打不開，可使用下面??網(wǎng)址。
- Huggingface：https://huggingface.co/chat/，模型里切換到Llama 3即可體驗(yàn)。
- Replicate：https://llama3.replicate.dev/
- 英偉達(dá)：https://www.nvidia.com/en-us/ai/#referrer=ai-subdomain
- 集成到社交平臺：Llama 3作為Meta AI助手的底層模型，你也可以在Facebook、Instagram等Meta的應(yīng)用程序中直接與之交互。
總之，Llama 3的發(fā)布標(biāo)志著Meta在AI領(lǐng)域的重大進(jìn)展，展示了其在創(chuàng)建高性能、多用途語言模型方面的能力。隨著模型的進(jìn)一步迭代和優(yōu)化，預(yù)計(jì)Llama 3將在AI助手和語言技術(shù)領(lǐng)域扮演越來越重要的角色。
熱門AI工具推薦：
- ?如果你用不了ChatGPT，推薦國產(chǎn)ChatGPT，點(diǎn)此免費(fèi)使用
- ?如果你想讓AI幫你寫論文，推薦筆靈論文寫作，點(diǎn)擊立即使用
