Paper Information

Title: Segment Anything

Authors: Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C. Berg, Wan-Yen Lo, Piotr Dollár, Ross Girshick

Affiliation: Meta AI Research (FAIR)

arXiv ID: arXiv:2304.02643

Topic: Image Segmentation, Foundation Model, Promptable Segmentation, Zero-Shot Transfer, Vision Transformer, Large-Scale Dataset, Interactive Segmentation

Venue: IEEE/CVF International Conference on Computer Vision (ICCV 2023)

Pages: 4015–4026

DOI: 10.1109/ICCV51070.2023.00371

1. One-line Summary

SAM은 promptable segmentation, 대규모 supervised data engine, 범용 prompt interface를 통해 segmentation을 foundation-model paradigm으로 확장하려 했으며, 최고 수준의 domain-specific accuracy보다는 generalization과 composability를 우선한 모델이다.

2. Problem

2.1. Introduction of Foundation

• web-scale dataset에 사전학습을 한 LLM들은 강한 zero-shot, few-shot generalization 능력을 보여주며 발전해왔다
• Foundation models : generalize to tasks and data distributions beyond those seen during training.

When scaled and trained with abundant text corpora from the web, these models’ zero and few-shot performance compares surprisingly well to fine-tuned models

: 웹에서 수집한 매우 방대한 양의 텍스트 말뭉치

• abundant = 풍부한, 아주 많은
• text corpora = 대규모 텍스트 데이터 집합

fine-tuning을 하지 않아도 task를 경쟁력있게 수행한다.

최근 foundation model 트렌드는 model scale, dataset size, total training compute 이 세가지를 개선하는 것에 집중한다

• 최근 computer vision에서도 탐색되어 왔고 예시가 text and images from web의 alignment 사례 (CLIP, ALIGN: contrastive learning)

  

  Source: https://arxiv.org/abs/2102.05918

3. Method

The model is designed and trained to be promptable

: 모델이 특정 segmentation task 하나만 수행하도록 만든 것이 아니라, 다양한 형태의 prompt를 받아 그에 맞는 mask를 생성할 수 있도록 학습되었다.

• promptable = generalizable/flexible 그 자체라기보다는, generalizable하고 flexible하게 쓰이도록 만드는 인터페이스적·학습적 성질
• 다양한 prompt에 조건부로 반응할 수 있다

3.1. Segment Anything Task

3.1.1. Task

1. 어떤 prompt (point, box, rough mask, text 등 **무엇을 segment할지 알려주는 정보)**가 오더라도 그 prompt에 대응하는 valid mask를 반환하라

   The promptable segmentation task, then, is to return a valid segmentation mask given any prompt.

2. Ambiguous prompt에서도 반드시 valid mask를 내야 함

   이게 interactive segmentation과 다른 점. SAM의 목표는 단 하나의 정답을 맞추는 것이 아니라 ambiguity 안에서 적어도 하나의 합리적인 마스크를 출력하는 것

   even when a prompt is ambiguous and could refer to multiple objects (e.g., recall the shirt vs. person example, and see Fig. 3), the output should be a reasonable mask for at least one of those objects

3.1.2. Pre-training: prompt simulation

our aim is to always predict a valid mask for any prompt even when the prompt is ambiguous.

Ground Truth Mask → Point / box / mask prompt → SAM prediction → Compare to Ground Truth