當(dāng)前位置：首頁>新聞 > 正文

天天看點：Stability AI推出文字轉(zhuǎn)視頻模型，曾參與《瞬息全宇宙》特效制作

2023-02-12 02:56:59來源：DeepTech深科技

掃碼下載

Runway 是一家研發(fā)生成式人工智能技術(shù)的初創(chuàng)公司，它在 2022 年共同創(chuàng)建了爆火的文本到圖像模型 Stable Diffusion。近日，該公司又發(fā)布了一個新的人工智能模型，可以通過文本提示或參考圖像指定的任何風(fēng)格，將現(xiàn)有視頻轉(zhuǎn)換為新的視頻。

（來源：RUNWAY）

在其網(wǎng)站上發(fā)布的演示視頻中，Runway 展示了其名為 Gen-1 的軟件如何將街道上的行人變成粘土木偶，或者將堆在桌子上的書變成城市景觀。Runway 希望 Gen-1 之于視頻的價值，就像 Stable Diffusion 之于圖像一樣。Runway 的 CEO 兼聯(lián)合創(chuàng)始人克里斯托瓦爾·巴倫蘇埃拉（）說：“我們已經(jīng)看到了圖像生成模型的爆發(fā)。我相信，2023 年將會是視頻之年?！?/p>

(資料圖)

Runway 成立于 2018 年，多年來一直在開發(fā)人工智能視頻編輯軟件。它的工具被主播、視頻博主以及主流電影和電視工作室使用。一些電視節(jié)目使用 Runway 軟件編輯圖像；電影《瞬息全宇宙》背后的視覺效果團隊同時使用了該公司的技術(shù)來幫助創(chuàng)建某些場景。

2021 年，Runway 與德國慕尼黑大學(xué)的研究人員合作，構(gòu)建了第一個版本的 Stable Diffusion。英國初創(chuàng)公司 Stability AI 隨后介入，提供了在更多數(shù)據(jù)上訓(xùn)練模型所需的計算資源和資金。2022 年，Stability AI 公司將 Stable Diffusion 模型帶進大眾的視野，將其從研究項目轉(zhuǎn)變?yōu)樯缃黄脚_上的熱門話題。

但現(xiàn)在這兩家公司已不再合作。Getty 現(xiàn)在正在對 Stability AI 采取法律行動——聲稱該公司在未經(jīng)允許的情況下使用了 Getty 的圖像，它出現(xiàn)在 Stable Diffusion 模型的訓(xùn)練數(shù)據(jù)中——而 Runway 公司希望與之保持距離。

Gen-1 代表了 Runway 公司的一個新起點。在 2022 年底，谷歌和 Meta 都推出過文本到視頻的模型，他們都可以從零開始生成非常短的視頻片段。它也類似于谷歌最近發(fā)布的生成式人工智能 Dreamix，可以通過應(yīng)用特定的風(fēng)格從現(xiàn)有的視頻中創(chuàng)建新的視頻。

不過從 Runway 的演示視頻來看，Gen-1 似乎在視頻質(zhì)量方面更勝一籌。因為它可以轉(zhuǎn)換現(xiàn)有的視頻片段，所以它可以產(chǎn)生比以前大多數(shù)模型生產(chǎn)的長得多的視頻。該公司表示，將在未來幾天里在其官網(wǎng)上發(fā)布有關(guān) Gen-1 產(chǎn)品的技術(shù)細節(jié)。

與 Meta 和谷歌不同，Runway 在建造模型時考慮了客戶。說：“這是第一批與視頻制作者社區(qū)密切開發(fā)的模型之一。它基于我們對電影制作人和視頻特效編輯是如何進行后期制作的了解。”

Gen-1 通過 Runway 的網(wǎng)站在云端運行，首先將向少數(shù)被邀請的用戶開放，并將在幾周內(nèi)向候補名單上的所有人開放。

2022 年，生成式人工智能的爆炸式增長吸引了數(shù)百萬人，他們第一次獲得了強大的創(chuàng)意工具。很快，社交平臺上就充滿了他們分享的成果。巴倫祖埃拉希望，將 Gen-1 交到創(chuàng)意專業(yè)人士手中，將很快對視頻制作領(lǐng)域產(chǎn)生類似的影響。

他說：“我們已經(jīng)非常接近于制作完整的故事片了。有一天，你在網(wǎng)上看到的大部分視頻內(nèi)容，可能都是（用類似方法）生成的?！?/p>

支持：Ren

原文：

https://www.technologyreview.com/2023/02/06/1067897/runway-stable-diffusion-gen-1-generative-ai-for-video/

標(biāo)簽：人工智能初創(chuàng)公司克里斯托瓦爾