1月26日 消息:在最新的研究中，百度提出了一項名為UNIMO-G的統(tǒng)一圖像生成框架，旨在克服現有文本到圖像擴散模型面臨的挑戰(zhàn)。傳統(tǒng)模型主要根據簡潔的文本提示生成圖像，但文本描述的簡潔性限制了生成復雜細節(jié)圖像的能力。

　　UNIMO-G采用了簡單而強大的多模態(tài)條件擴散框架，能夠處理交錯的文本和視覺輸入，展示了文本驅動和主題驅動圖像生成的統(tǒng)一能力。

　　UNIMO-G的核心組件包括多模態(tài)大語言模型(MLLM)和基于編碼的多模態(tài)輸入生成圖像的條件去噪擴散網絡。獨特的兩階段訓練策略使得該框架能夠在大規(guī)模文本圖像對上進行預訓練，開發(fā)出條件圖像生成能力，并通過多模態(tài)提示進行指令調整，實現統(tǒng)一的圖像生成能力。

　　這一框架還采用了精心設計的數據處理管道，涉及語言基礎和圖像分割，用以構建多模態(tài)提示。在測試中，UNIMO-G在文本到圖像生成和零樣本主題驅動合成方面表現卓越，特別是在處理包含多個圖像實體的復雜多模態(tài)提示時，生成高保真圖像的效果顯著。

　　總體而言，UNIMO-G的提出為文本到圖像生成領域帶來了新的可能性，其簡單而有效的多模態(tài)條件擴散框架在處理復雜性和提高圖像生成質量方面具有潛在的廣泛應用價值。