Segment Anything（SAM）

SAM靈活的設(shè)計(jì)實(shí)現(xiàn)了與其他系統(tǒng)的靈活集成。

輸出掩碼可以用作其他人工智能系統(tǒng)的輸入。例如，對(duì)象掩碼可以在視頻中跟蹤，啟用圖像編輯應(yīng)用程序，可以 提升到 3D ，或用于拼貼等創(chuàng)意任務(wù)。

SAM已經(jīng)學(xué)會(huì)了什么是對(duì)象的一般概念——這種理解使不需要額外的訓(xùn)練就可以對(duì)不熟悉的對(duì)象和圖像進(jìn)行零射泛化。

SAM的先進(jìn)功能是通過(guò)使用模型在回路中收集的數(shù)百萬(wàn)張圖像和掩模進(jìn)行訓(xùn)練的結(jié)果“數(shù)據(jù)引擎。”研究人員使用SAM及其數(shù)據(jù)交互式地注釋圖像和更新模型。這個(gè)循環(huán)重復(fù)了很多次，以改進(jìn)模型和數(shù)據(jù)集。

在SAM的幫助下注釋了足夠多的蒙版后，我們能夠利用SAM復(fù)雜的多義性感知設(shè)計(jì)來(lái)完全自動(dòng)地注釋新圖像。要做到這一點(diǎn)，我們提出了一個(gè)圖像上的點(diǎn)的網(wǎng)格SAM，并要求SAM分割每一個(gè)點(diǎn)的一切。

SAM的設(shè)計(jì)效率足以驅(qū)動(dòng)其數(shù)據(jù)引擎。我們將模型解耦為1）一次性圖像編碼器和2）輕量級(jí)蒙版解碼器，每個(gè)提示符只需幾毫秒即可在Web瀏覽器中運(yùn)行。