제대로 이해했는지 모르겠는데, 원래 토큰을 표현하는 임베딩 벡터를 나눠서 분산처리하고 합쳤는데도 잘 동작해서 이렇게 하는건가요? self attention그대로 학습하는게 더 의미가 맞는거같은데, feature를 다 다르게 학습한다는 부분을 이해를 못하겠어요. CNN은 r,g,b,a채널을 나눠서 처리하니까 각기 독립된 채널의 의미를 학습할거같은데... token에 대한 임베딩도 동일하게 이해를 해야할까요?
안녕하세요. self attention은 하나의 feature 에만 집중을 하게 될겁니다. 때문에 멀티헤드 어텐셔을 가짐으로서, 여러 feature를 동시에 본다라는 개념입니다. 마치 CNN에서 channel을 여러개 갖는 CNN layer를 갖는것과 같다고 보시면 됩니다. CNN layer의 output이 하나라면 하나의 feature만 보는것이고 4개라면 4개의 feature를 보는것 처럼요. 또 궁금한점 있으시면 질문주세요. 감사합니다
감사합니다😮😮
헐 대박... 슨생님 강의는 국민 필수 수강 강좌로 지정해야 해여... 충격 그 자체 .. 감사합니당 ~
제대로 이해했는지 모르겠는데,
원래 토큰을 표현하는 임베딩 벡터를 나눠서 분산처리하고 합쳤는데도 잘 동작해서 이렇게 하는건가요?
self attention그대로 학습하는게 더 의미가 맞는거같은데, feature를 다 다르게 학습한다는 부분을 이해를 못하겠어요.
CNN은 r,g,b,a채널을 나눠서 처리하니까 각기 독립된 채널의 의미를 학습할거같은데... token에 대한 임베딩도 동일하게 이해를 해야할까요?
안녕하세요. self attention은 하나의 feature 에만 집중을 하게 될겁니다. 때문에 멀티헤드 어텐셔을 가짐으로서, 여러 feature를 동시에 본다라는 개념입니다.
마치 CNN에서 channel을 여러개 갖는 CNN layer를 갖는것과 같다고 보시면 됩니다. CNN layer의 output이 하나라면 하나의 feature만 보는것이고 4개라면 4개의 feature를 보는것 처럼요. 또 궁금한점 있으시면 질문주세요. 감사합니다
안녕하세요 노코프님 제가 그래픽스를 공부하는데 c++이 필요하여 공부하려합니다 멤버쉽을 가입하여 올리신 영상들을 오래된 순서로 하나하나 보면 될까요 ? 아니면 추천하시는 방법이 있나요
안녕하세요. 채널에 playlist들이 있습니다.
메인페이지 아래 보시면
www.youtube.com/@user-pw9fm4gc7e/featured
모던 C++ 강의, 모던 C++ STLs 강의, 모던C++ Concurrency/Parallel 순서로 들을시면 됩니다.
트랜스포머구조를 하나씩 배워나가니까 너무 좋습니다 .. 감사합니다 ㅎㅎ
Positional Encoding 파트도 진행하나요 ? 이 부분이 저는 잘 이해가 안가더라구요
positional encoding을 fixed sinusoidal embdding을 다룰지 아니면 learning positional embedding을 다룰지 고민중입니다.
저는 주기함수에 대한 내용만 보였는데
다른것도 있군요
별로 어렵지 않기때문에 둘다 다룰수도 있습니다
와웅 기대됩니다
@@user-pw9fm4gc7e선생님 강의 너무 잘 듣고 있어요
쉽게 잘 가르켜 주셔서 눈물이 날정도😂