Groq是什么？

Groq是一家美國AI芯片公司，專注于設計和制造高性能、高能效的AI處理器。

最近，Groq公司推出了一個免費的在線大模型推理服務，借助于自研的AI芯片LPU，每秒能夠輸出近 500 個 token。相比之下，ChatGPT-3.5 每秒生成速度僅為 40 個 token。

Groq并沒有研發新模型，它是一個模型啟動器，推理服務部署的是開源模型Mixtral 8x7B-32k和Llama 270B-4k。

有網友將其與 GPT-4、Gemini 對標，看看它們完成一個簡單代碼調試問題所需的時間。沒想到，Groq 完全碾壓兩者，在輸出速度上比 Gemini 快 10 倍，比 GPT-4 快 18 倍。

如何使用Groq？

AIHub體驗了一下，推理回復速度確實非?？?，1000字的內容，眨眼之間完成。

不需要注冊賬號，任何人都可以免費使用。

Groq體驗地址：https://groq.com/

對于開發者，Groq 也提供了 API 服務，完全兼容 OpenAI API。

Mixtral 8x7B SMoE 可以達到 480 token / S，100 萬 token 價格為 0.27 美元。極限情況下，用 Llama2 7B 甚至能實現 750 token / S。

關于Groq LPU芯片

根據Groq官網介紹，LPU是一種專為AI推理所設計的芯片。驅動包括GPT等主流大模型的GPU，是一種為圖形渲染而設計的并行處理器，有數百個內核，而LPU架構則與GPU使用的SIMD（單指令，多數據）不同，這種設計可以讓芯片更有效地利用每個時鐘周期，確保一致的延遲和吞吐量，也降低了復雜調度硬件的需求。

?版權聲明：如無特殊說明，本站所有內容均為AIHub.cn原創發布和所有。任何個人或組織，在未征得本站同意時，禁止復制、盜用、采集、發布本站內容到任何網站、書籍等各類媒體平臺。否則，我站將依法保留追究相關法律責任的權利。