1月19日 消息:Vision Mamba 是一種新的視覺模型，通過引入狀態(tài)空間模型(SSM)來進(jìn)行視覺建模，并在 ImageNet 分類、COCO 對(duì)象檢測(cè)和 ADE20k 語義分割任務(wù)上實(shí)現(xiàn)了更高的性能。

　　與傳統(tǒng)的基于 ConvNet 的網(wǎng)絡(luò)相比，Vision Mamba 在 ImageNet 分類任務(wù)中表現(xiàn)更好，并且比基于 Transformer 的視覺模型 DeiT 具有更高的分類準(zhǔn)確率。此外，Vision Mamba 在 GPU 內(nèi)存和高分辨率圖像推理時(shí)間方面也更加高效。

　　Vision Mamba 使用雙向序列建模和位置嵌入來解決視覺任務(wù)中的單向建模和缺乏位置感知的問題。通過將圖像轉(zhuǎn)換成展開的二維 patch，并在每個(gè) patch 上進(jìn)行線性投影和位置嵌入，Vision Mamba 能夠更好地捕捉圖像中的視覺上下文和位置信息。

　　在實(shí)驗(yàn)中，Vision Mamba 在 ImageNet-1K 數(shù)據(jù)集上進(jìn)行了基準(zhǔn)測(cè)試，并與傳統(tǒng)的基于 ConvNet 的網(wǎng)絡(luò)、基于 Transformer 的視覺模型和基于 SSM 的骨干網(wǎng)絡(luò)進(jìn)行了比較。結(jié)果表明，Vision Mamba 在分類、語義分割和對(duì)象檢測(cè)等任務(wù)上都具有優(yōu)越的性能。同時(shí)，Vision Mamba 在高分辨率圖像和長(zhǎng)序列多模態(tài)應(yīng)用中具有線性擴(kuò)展的優(yōu)勢(shì)。

　　Vision Mamba 是一種高效的視覺模型，通過引入狀態(tài)空間模型和位置嵌入來提高視覺任務(wù)的性能。它在各種任務(wù)中都展現(xiàn)出了比傳統(tǒng)模型更好的表現(xiàn)，并且具有更高的計(jì)算和內(nèi)存效率。Vision Mamba 的出現(xiàn)為視覺基礎(chǔ)模型的發(fā)展帶來了巨大的潛力。