快科技12月12日消息,華中科技大學(xué)官方發(fā)文稱,該校軟件學(xué)院一團(tuán)隊發(fā)布了多模態(tài)大模型Monkey”。
該模型擅長圖像描述和視覺問答,能夠?qū)崿F(xiàn)對世界的觀察”,對圖片進(jìn)行深入問答交流和精確描述。
官方介紹稱,在18個數(shù)據(jù)集上的實驗中,華科大Monkey模型表現(xiàn)出色,特別是在圖像描述和視覺問答任務(wù)方面,超越了眾多現(xiàn)有知名的模型如微軟的LLAVA、谷歌的PALM-E、阿里的Mplug-owl等。
此外,Monkey在文本密集的問答任務(wù)中顯示出顯著的優(yōu)勢,甚至在某些樣本上超越了業(yè)界公認(rèn)的領(lǐng)先者GPT-4V。
Monkey的一個顯著特點是其出色的看圖說話”能力。在詳細(xì)描述任務(wù)中,Monkey展現(xiàn)了對圖像細(xì)節(jié)的感知能力,能夠察覺到其他多模態(tài)大模型所忽略的內(nèi)容。
另一亮點是能夠處理分辨率高達(dá)1344 x 896像素的圖像,這是目前其他多模態(tài)大模型所能處理的最大尺寸的6倍。
據(jù)悉,目前業(yè)內(nèi)能處理的圖片最大分辨率為448448像素。
值得一提的是,該團(tuán)隊已將Monkey代碼在全球最大的代碼托管服務(wù)平臺GitHub上開源。