Segment Anything [Oh Hyun-Bin]

2023.05.18 P-AMI Weekly Seminar
[Reviewed Paper]
Segment Anything
/ segment-anything
[Speaker]
Oh Hyun-Bin
[Tags]
Image segmentation, Promptable segmentation, Foundation model, Zero-shot generalization

[@rezarawassizadeh4601]

I have difficult time understanding SAM, thank you for your video, but I think step 8 is not 3-layer MLP it is three MLP for the three different masks.

[@remath3166]

비전공자인데요 마지막에 text to mask task 가 제대로 연구개발되면 mask to text task 로 ocr도 가능합니까?

[@user-yw6wf3uu1o]

실제로 meta에서 배포한 모델을 훈련했을 당시에 프롬프트는 어떻게 줬는지에 대해선 알 수 있나요?

[@AMILabPOSTECH]

meta에서 SAM에 대한 training code를 따로 공개하지 않아, 논문에 적혀진 학습 과정을 동일하게 따랐을 지에 대해서는 말씀을 드리기가 어렵습니다. Promptable segmentation task에 대한 detail은 Segment Anything 논문 Appendix A.의 Training algorithm paragraph 또는 업로드된 영상 내의 Segment Anything Task 설명 부분을 참고해주시면 좋을 것 같습니다.

[@whypushhh]

초반에 누끼랑은 다르다고 했는데 어떤부분이 다른걸까요?

[@AMILabPOSTECH]

저희가 흔히 생각하는 누끼는 image matting task와 더욱 관련이 있습니다.
SAM을 이용한 matting model인 Matting Anything도 release되었으니, 아래 링크를 참고하시면 좋을 것 같습니다.
github.com/SHI-Labs/Matting-Anything
arxiv.org/pdf/2306.05399.pdf