Qwen2-Audio是什么？
Qwen2-Audio是由阿里通義團隊推出的大型音頻語言模型系列，它能夠接受音頻信號輸入，進行音頻分析或直接文本響應，支持語音聊天和音頻分析兩種交互模式，并且提供了預訓練模型Qwen2-Audio-7B和聊天模型Qwen2-Audio-7B-Instruct的版本。
Qwen2-Audio的主要特點
- 語音聊天：用戶可以使用語音向音頻語言模型發出指令，無需通過自動語音識別（ASR）模塊。
- 音頻分析：該模型能夠根據文本指令分析音頻信息，包括語音、聲音、音樂等。
- 多語言支持：該模型支持超過8種語言和方言，例如中文、英語、粵語、法語、意大利語、西班牙語、德語和日語。
Qwen2-Audio的模型效果
官方在一系列基準數據集上進行了實驗，包括 LibriSpeech、Common Voice 15、Fleurs、Aishell2、CoVoST2、Meld、Vocalsound 以及 AIR-Benchmark，下面我們將展示一張圖表來說明 Qwen2-Audio 相對于競爭對手的表現。在所有任務中，Qwen2-Audio 都顯著超越了先前的最佳模型或是 Qwen-Audio。
Qwen2-Audio的模型結構與訓練范式
Qwen2-Audio使用 Qwen 語言模型和音頻編碼器這兩個基礎模型，接著依次進行多任務預訓練以實現音頻與語言的對齊，以及 SFT 和 DPO 來掌握下游任務的能力并捕捉人類的偏好。
如何使用Qwen2-Audio？
Qwen2-Audio團隊在 Hugging Face 和 ModelScope 上開源了 Qwen2-Audio-7B 以及 Qwen2-Audio-7B-Instruct，并且搭建了一個在線體驗demo，相關鏈接如下：
- Qwen2-Audio在線體驗：https://huggingface.co/spaces/Qwen/Qwen2-Audio-Instruct-Demo
- Qwen2-Audio項目地址：https://qwenlm.github.io/zh/blog/qwen2-audio
- Qwen2-Audio GitHub地址：https://github.com/QwenLM/Qwen2-Audio
- Qwen2-Audio論文地址：https://arxiv.org/pdf/2407.10759
- Qwen2-Audio MODELSCOPE地址：https://modelscope.cn/organization/qwen
據官方透露，在不久的將來，Qwen2-Audio團隊計劃在更大的預訓練數據集上訓練出更優秀的 Qwen2-Audio 模型，使該模型能夠支持更長的音頻（超過30秒），并且還將構建更大規模的 Qwen2-Audio 模型，用于研究音頻語言模型的擴展定律。
?版權聲明：如無特殊說明，本站所有內容均為AIHub.cn原創發布和所有。任何個人或組織，在未征得本站同意時，禁止復制、盜用、采集、發布本站內容到任何網站、書籍等各類媒體平臺。否則，我站將依法保留追究相關法律責任的權利。
