CoDi是什么？
CoDi (Composable Diffusion) 是一個新穎的生成模型，能夠從任何組合的輸入模態(tài)（如語言、圖像、視頻或音頻）生成任何組合的輸出模態(tài)。
更多 demo 體驗(yàn)：https://codi-gen.github.io/
與現(xiàn)有的生成 AI 系統(tǒng)不同，CoDi 可以并行生成多種模態(tài)，其輸入不僅限于文本或圖像等子集模態(tài)。盡管許多模態(tài)組合的訓(xùn)練數(shù)據(jù)集不存在，但我們提出在輸入和輸出空間中對模態(tài)進(jìn)行對齊。這使 CoDi 能夠自由地根據(jù)任何輸入組合進(jìn)行條件設(shè)置，并生成任何模態(tài)組，即使它們在訓(xùn)練數(shù)據(jù)中不存在。CoDi 采用了一種新穎的可組合生成策略，該策略涉及通過在擴(kuò)散過程中建立對齊來構(gòu)建共享的多模態(tài)空間，從而實(shí)現(xiàn)交織模態(tài)（如時間對齊的視頻和音頻）的同步生成。CoDi 高度定制化和靈活，實(shí)現(xiàn)了強(qiáng)大的聯(lián)合模態(tài)生成質(zhì)量，并與單模態(tài)合成的最新技術(shù)相媲美或者在同等水平。
CoDi 的模型架構(gòu)使用了多階段訓(xùn)練方案，使其能夠僅對線性數(shù)量的任務(wù)進(jìn)行訓(xùn)練，但對所有輸入和輸出模態(tài)的組合進(jìn)行推理。
CoDi 的使用示例包括：
- 多輸出聯(lián)合生成：模型接受單個或多個提示（包括視頻、圖像、文本或音頻），生成多個對齊的輸出，如伴有聲音的視頻。
- 多條件生成：模型接受多個輸入（包括視頻、圖像、文本或音頻）生成輸出。
- 單對單生成：模型接受單個提示（包括視頻、圖像、文本或音頻）生成單個輸出。
如何使用？
CoDi 的研究論文已經(jīng)發(fā)布在 arXiv 上，論文標(biāo)題為 "Any-to-Any Generation via Composable Diffusion"。
論文地址：http://arxiv.org/abs/2305.11846
GitHub代碼：https://github.com/microsoft/i-Code/tree/main/i-Code-V3
演示視頻：
