어텐션 쉽게 설명하기가.. 쉽지 않네

[@임커밋]

영상에는 3Blue1Brown의 open source 라이브러리 manim을 사용하였습니다.
본 영상 소스를 만든 코드는 github.com/CodingVillainKor/manim-kor 에서 확인할 수 있습니다.

[@sukyoungkim878]

정말 유익하게 영상 너무 잘 만드셨습니다. 개념이해 쏙쏙 되게.. 귀한 정보 공유해주셔서 정말 감사드립니다.🎉❤

[@u_luana.j]

이번영상은 3파1갈급으로 퀄리티가 좋네요

[@cacbon-dioxit]

코딩빌런에서 이런 영상을 보게 될 줄은 몰랐습니다

[@AIPenguinStudio]

정말 쉽고 유익한 강의입니다. 표현이랑 정보 배치하는 데에도 신경을 많이 쓰신 게 보이네요. 감사드립니다.

[@gga01]

이해가 정말 잘 됩니다!!! 진짜 감사합니다ㅠㅠ

[@헤이요우-r3w]

너무 유익해요ㅠㅠ 진짜 항상 잘 보고 있습니다!! 시리즈 꼭 부탁드려요😂

[@Sionsim]

설명 미쳤다… 감사합니다

[@익흐르잇]

쉬운 설명 정말 감사드립니다!

[@강현우-j6w]

늘 도움받고 있어요. 감사합니다ㅎㅎ

[@teahyeonkim2960]

너무너무 감사합니다!!!!!

[@Tika-fz6li]

사랑합니다

[@leeeemay]

오늘도 꿀같은 영상 잘봤습니다!!ㅎㅎ 문득 편집뭐로하셨는지 너무 궁금하네영..애니메이션 같은거..🙂

[@mmhdfmh]

아마도 3b1b manim 엔진 쓰신듯

[@임커밋]

@mmhdfmh님 말씀대로 manim을 사용했습니다.
본 영상 소스를 만든 코드는 github.com/CodingVillainKor/manim-kor 에서 확인할 수 있습니다.

[@leeeemay]

감사합니다!

[@양수영-k9b]

잘 봤습니다!1! 혹시 다음 영상은 언제쯤 나올까요?

[@임커밋]

감사합니다. 12월 9일에 업로드 예정입니다

[@yongwookim1]

감사합니다

[@산딸기-r7s]

유익하게 봤습니다...! 해석에 대한 레퍼런스가 혹시있을까요?? 아니면 생각하신걸까요오😮😊

[@임커밋]

제가 공부하면서 생각한 것으로 제작했습니다. 어텐션 설명하는 다른 글, 영상들도 많으니 비슷하게 설명하는 매체도 있을 수 있습니다.

[@jayasome199]

넘 쉽다!!

[@teahyeonkim2960]

이미지 transformer인 vit도 알려주세요!!1

[@갓풍-o3p]

안녕하세요 좋은영상 정말로 감사드립니다. 혹시 Query 텐서와 Key 텐서들을 W_q 랑 W_k 에 통과시키셨는데, 이때 W_q, W_k의 역할은 무엇인가요?

[@변진영-v7j]

안녕하세요. 저도 딥러닝은 잘 모르지만 W로 불려지는 가중치 파라미터들은 입력값 input을 그대로 사용하지 않고 다른 (좀 더 의미가 있을거라고 예상되는) 차원에 보내겠다는 의미입니다. 고등학교 때 배우는 함수 f(x) 에서 f 그 자체로 보시면 될거 같습니다. (개인적인 생각으로) 딥러닝에서 W와 활성화 함수의 조합이 없으면 딥러닝이 아니라고 할 수 있습니다 (비약일수 있지만,,,)

[@잇준-v7m]

시간이 지났지만 다른 분들을 위해 답변 남깁니다.
W_q는 인풋 시퀀스를 query로 사용가능하게 만들며 W_k는 인풋시퀀스를 key로 사용가능하게 만듭니다. 가장 기본적인 역할입니다.
이때 우리는 가중치를 활용하게 되는데 각 가중치는 인풋 시퀀스가 각각 query와 key로써의 역할을 잘 하도록 만들게 학습됩니다.
쉽게 말하면 잘 query가 되는 법, 잘 key가 되는 법, 잘 value가 되는 법을 알려주는 애들이다 라고 생각하면 편할 것 같습니다.
초기 W벡터들은 인풋 시퀀스를 어떻게 K,Q,V로 만들어야 할 지 잘 모르는 상태라면 학습 후 W 벡터들은 각 인풋 시퀀스를 k,Q,V에 맞게 잘 변형하는 법을 아는 상태입니다.
(틀린 부분이 있을 수 있음, 주의)