騰訊研究人員基于Nvidia的StyleGAN-2構(gòu)建了創(chuàng)新系統(tǒng)。

超越DALL-E2，一種新的AI模型正在引起關(guān)注——GFP-GAN。

該模型全稱為Generative Facial Prior-Generative Adversarial Network，可以恢復(fù)受損和低分辨率的圖片。

該工具由中國公司騰訊的研究人員開發(fā)，可免費(fèi)使用，可通過GitHub下載。

該工具使用騰訊自己的模型和Nvidia的預(yù)訓(xùn)練StyleGAN-2模型——類似于用于開發(fā)GauGAN的系統(tǒng)，Nvidia的圖像生成模型。

在一篇概述該模型如何工作的論文中，騰訊的AI團(tuán)隊(duì)使用這兩種模型有效地填補(bǔ)了舊圖像中缺失的元素。在短短幾秒鐘內(nèi)，兩種模型的聯(lián)合力量可以將低質(zhì)量的圖像變成新的更好的圖像。

該論文表明，以前，圖像恢復(fù)需要一個(gè)參考點(diǎn)來重新創(chuàng)建特定的細(xì)節(jié)。然而，GFP-GAN通過將來自Nvidia模型的預(yù)訓(xùn)練人臉與來自正在恢復(fù)的照片的數(shù)據(jù)輸入相結(jié)合來創(chuàng)建一個(gè)“在真實(shí)性和保真度之間取得良好平衡”的圖像。

“由于強(qiáng)大的生成面部先驗(yàn)和精致的設(shè)計(jì)，我們的GFP-GAN只需一次前向傳遞就可以聯(lián)合恢復(fù)面部細(xì)節(jié)并增強(qiáng)顏色，而GAN反演方法需要在推理時(shí)針對圖像進(jìn)行優(yōu)化，”論文中寫道。

“大量實(shí)驗(yàn)表明，我們的方法在合成數(shù)據(jù)集和真實(shí)世界數(shù)據(jù)集上都取得了優(yōu)于現(xiàn)有技術(shù)的性能。”

該論文表明，由于預(yù)訓(xùn)練數(shù)據(jù)和來自輸入圖像的數(shù)據(jù)相結(jié)合，該模型“在大多數(shù)深色皮膚的面部和各種人群中表現(xiàn)良好”。

騰訊的團(tuán)隊(duì)確實(shí)注意到，輸入肖像中的人的顏色可能會(huì)比灰度圖像中的原始膚色看起來更淺，因?yàn)?ldquo;輸入不包含足夠的顏色信息”。為了進(jìn)一步糾正這一點(diǎn)，該論文的作者建議需要一個(gè)多樣化且平衡的數(shù)據(jù)集來充分發(fā)揮模型的潛力。

人工智能和圖像

GFP-GAN出現(xiàn)在DALL-E2在社交媒體上掀起波瀾，用于從文本提示生成圖像。

該模型由OpenAI開發(fā)，已被用于生成約翰內(nèi)斯·維米爾(Johannes Vermeer)的《戴珍珠耳環(huán)的女孩》的替代版本、《Cosmopolitan》雜志的封面圖片以及調(diào)味品品牌亨氏的番茄醬圖片。

來源：AI Business