Lipdub是什么？
Lipdub是由AI視頻編輯初創(chuàng)公司Captions發(fā)布的一款A(yù)I應(yīng)用，用于將視頻片段翻譯成28種語言。該應(yīng)用支持多種語言，包括法語、印地語、西班牙語、意大利語、葡萄牙語、日語等，甚至可以將視頻翻譯成德克薩斯俚語、Z世代用語、海盜語和嬰兒語。
Lipdub應(yīng)用地址：https://apps.apple.com/us/app/lipdub/id6455155615
演示視頻顯示，該應(yīng)用還可以根據(jù)選擇的目標(biāo)語言改變嘴唇的動(dòng)作，但在音頻和嘴唇動(dòng)作之間有時(shí)會(huì)存在一定的滯后。
用戶可以翻譯長達(dá)一分鐘的單人講話視頻，然后分享到其他社交媒體平臺(tái)上。
Captions聲稱已有超過300萬創(chuàng)作者使用其AI視頻編輯應(yīng)用，擁有超過10萬名日常用戶。該應(yīng)用提供多種基于AI的視頻編輯功能，如去除口誤，降低背景噪音和增強(qiáng)語音。該應(yīng)用還具有“AI Lipdub”功能，可以在后期編輯中更改字幕以匹配嘴唇動(dòng)作。
Captions成立于2021年，創(chuàng)始人是Snap的設(shè)計(jì)工程部門負(fù)責(zé)人Gaurav Misra。該公司于6月完成了由Kleiner Perkins領(lǐng)投的B輪融資，融資額為2500萬美元，參與投資方包括Sequoia Capital、Andreessen Horowitz（a16z）和SV Angel。迄今為止，Captions已籌集了4000萬美元的資金。
使用翻譯和AI配音來觸及更廣泛的受眾是一個(gè)不斷增長的趨勢(shì)。今年6月，YouTube宣布正在測(cè)試一款A(yù)I工具，允許用戶自動(dòng)為其視頻添加其他語言的配音。該公司表示正在改進(jìn)配音的嘴唇同步技術(shù)。上個(gè)月，該公司表示正在將基于AI的配音直接集成到Y(jié)ouTube Studio中，以便更輕松地將視頻轉(zhuǎn)換為其他語言。
