AI逆向繪畫火了！一鍵重繪梵高《星空》，來自華盛頓大學

梵高名作也能被AI逆向破解了？！

直接喂一張原圖，AI就能化身梵高·本高一點點重繪整張圖畫（原圖可任意）。

仔細對照兩邊，AI幾乎實現了1:1復刻，還爲我們這些繪畫小白清晰展示了整幅圖的構建過程。

這項魔法來自華盛頓大學，項目名爲Inverse Painting，相關論文已入選SIGGRAPH Asia 2024，其中兩位作者還是東北大學（Bowei Chen ）和上海科技大學（Yifan Wang）的校友。

項目一經發布後即在Reddit引起熱議，最高贊更是爲藝術家羣體操起了心（doge）。

不過也有人表示，這對於人們學習如何繪畫非常有幫助。

甚至可以用來“破解”一些大師遺作，提取隱藏或失傳的技術。

基於擴散模型

從原圖→繪畫過程延時視頻，Inverse Painting採用基於擴散的逆繪畫方法。

進一步拆解，這一過程主要包括以下步驟：

這些步驟整體可歸爲兩階段訓練+測試，如下所示：

第一階段：指令生成（Instruction Generation）

這個階段主要生成兩個關鍵指令集，文本指令生成器（Text Instruction Generator）和區域掩碼生成器（Mask Instruction Generator）。

前者通過比較目標畫作和當前畫布的狀態，生成一個簡短的文本指令，比如“畫天空”或“加花朵”，以此決定下一步應該添加哪些元素。

後者是一個二進制圖像，指明瞭畫布上應該更新哪些部分。

兩者一結合，確保模型只在畫布上合適的區域進行繪製。

△生成的文本指令

第二階段：畫布渲染（Canvas Rendering）

接下來使用第一階段生成的指令來更新畫布。

利用文本指令和區域掩碼，以及當前畫布的圖像和目標畫作，一個基於擴散的渲染器被用來更新畫布。

這個渲染器採用了一種叫做“去噪擴散概率模型”的技術，它逐步從噪聲圖像中去除噪音，以生成連續的圖像幀。

總之，渲染器在更新畫布時會考慮多種條件信號，包括文本指令、區域掩碼、時間間隔，以及目標畫作和當前畫作的特徵。

這些條件信號幫助渲染器更準確地模擬人類藝術家的繪畫風格和過程。

測試（Test-Time Generation）

在測試階段，模型使用訓練好的管道從頭開始生成一幅畫作。

這裡主要有兩個關鍵：

最終，與三個基線方法（Timecraft、Paint Transformer、Stable Video Diffusion）相比，其生成結果明顯更優。

同時，相關變體也取得了SOTA結果。

其中兩位作者爲華人

簡單介紹下項目作者，一共5位，其中兩位是華人。

Bowei Chen （陳柏維），本科就讀於國內東北大學軟件工程專業（2016年入學），後分別在卡內基梅隆大學機器人研究所和華盛頓大學攻讀碩博。

研究興趣爲計算機視覺和圖形學的交叉點，重點是圖像和視頻生成。

Yifan Wang，本科就讀於上海科技大學計算機專業，今年剛獲得華盛頓大學CS博士學位。

個人主頁顯示了多段工作經歷（含字節、谷歌、Adobe等），目前是Meta Reality Labs Research的一名研究科學家。

實際上，這個團隊進行的AI逆向繪畫之前也有，網友們還提到了Paints Undo這個項目。

當時主要應用於動漫領域，短短3個月已在GitHub攬星3.3K。

對於這事兒，人們一直褒貶不一，最大爭議在於人們擔心有人會利用AI謊稱作者。

畢竟通過講解藝術思路是作者證明作品原創性的手段之一。

甚至對於它能教人們學繪畫這事兒，也有網友以自身經歷出來反駁：

所以，有了解繪畫的童鞋來說說看嗎？