極客號(hào)（Daydx.com）8月18日 消息:Inst-Inpaint 是一個(gè)創(chuàng)新的圖像修復(fù)框架，可以根據(jù)給定的文本指令從圖像中移除對(duì)象。傳統(tǒng)的圖像修復(fù)方法通常需要使用二值掩膜來(lái)定義要移除的像素點(diǎn)，但這種方法需要用戶手動(dòng)創(chuàng)建掩膜，耗時(shí)且容易出錯(cuò)。Inst-Inpaint 通過(guò)使用文本指令來(lái)估計(jì)需要移除的對(duì)象，并在修復(fù)過(guò)程中將其刪除。
項(xiàng)目地址:https://github.com/abyildirim/inst-inpaint
研究人員創(chuàng)建了 GQA-Inpaint 數(shù)據(jù)集，用于訓(xùn)練和測(cè)試這種圖像修復(fù)方法。數(shù)據(jù)集包含了147165張圖像和41407個(gè)不同的指令。通過(guò)在這個(gè)數(shù)據(jù)集上進(jìn)行訓(xùn)練，Inst-Inpaint 模型可以在一步中去除對(duì)象，而無(wú)需預(yù)測(cè)遮罩。
研究人員使用了多種指標(biāo)來(lái)評(píng)估該方法的效果，并證明了它在定量和定性上的顯著改進(jìn)。Inst-Inpaint 的出現(xiàn)證明了人工智能在圖像處理方面的轉(zhuǎn)化能力，并為使用文本指令進(jìn)行圖像修復(fù)開辟了新的途徑。
核心功能:
– 基于文本指令進(jìn)行圖像修復(fù):Inst-Inpaint 可以根據(jù)給定的文本指令從圖像中移除對(duì)象，無(wú)需手動(dòng)創(chuàng)建掩膜。
– 高質(zhì)量的修復(fù)結(jié)果:Inst-Inpaint 使用了先進(jìn)的生成對(duì)抗網(wǎng)絡(luò)和擴(kuò)散模型，可以生成語(yǔ)義一致且逼真的修復(fù)結(jié)果。
– 實(shí)用的數(shù)據(jù)集和預(yù)訓(xùn)練模型:Inst-Inpaint 提供了 GQA-Inpaint 數(shù)據(jù)集和預(yù)訓(xùn)練模型，可以用于訓(xùn)練和評(píng)估模型的性能。
