좋은 영상 감사합니다! ㅎㅎ 자잘하게 약간 아쉬운 점이 있습니다. 1:04 에서 평균과 분산을 1,2,3 에 대해서 구하셨는데, 이는 채널 축으로 평균, 분산을 구해버린 셈입니다. 뒤에 설명하신대로 batch 축으로 구해야 하는데 말이죠 또, covariate shift 완화는 원 논문에서 주장했지만, 관련해서는 반박 논문이 있어 covariate shift를 완화하는 것이 아닌 것으로 밝혀진 것으로 알고 있습니다.
혹시나 제가 반박에 대한 업데이트가 안되었을수도 있는데요, 말씀주신 내용 중에서 batch normalization이 covariance shift를 줄이기 때문에 학습이 잘된다는 논문이 2015년이었는데요, 2018년에 나온 how does batch normalization help optimization? 논문에서 이 효과가 없다는 것으로 반박하였고, 학습이 잘되는 이유는 batch normalization이 loss landscape를 smooth하게 만들어주기 때문이라고 주장하였습니다. 그 이후로도 batch normalization이 왜 학습을 잘하게 만드는가?에 대한 해석 시도가 있는 것으로 알고 있습니다.
영상 잘봤습니다! 추가로 batch norm에서 학습되는 gamma와 beta에서 Beta를 넣어주는 이유는 이전 layer의 output에서 평균을 빼버리면 bias가 사라지게 됩니다. (Bias는 모든 output에 더해지기 때문에) 그래서 추가로 bias를 beta로 더해주고 gamma로 비율을 조절해주는 것으로 알고있어요
좋은 영상 감사합니다! ㅎㅎ
자잘하게 약간 아쉬운 점이 있습니다.
1:04 에서 평균과 분산을 1,2,3 에 대해서 구하셨는데, 이는 채널 축으로 평균, 분산을 구해버린 셈입니다.
뒤에 설명하신대로 batch 축으로 구해야 하는데 말이죠
또, covariate shift 완화는 원 논문에서 주장했지만,
관련해서는 반박 논문이 있어 covariate shift를 완화하는 것이 아닌 것으로 밝혀진 것으로 알고 있습니다.
대 펜 하 임
좋은 부가설명 감사합니다
오 찐이다
역시 형도 이채널을 보고있었군
대 대 대
전 배치 브론즈입니다 감사합니다
배슝좍 Normalization은 역시 딥창섭
그는 역시..
이게 왜 알고리즘에 떴는지 아무리 생각해봐도 정상화 때문이라는 것밖에 떠오르지 않는다.
혹시나 제가 반박에 대한 업데이트가 안되었을수도 있는데요,
말씀주신 내용 중에서 batch normalization이 covariance shift를 줄이기 때문에 학습이 잘된다는 논문이 2015년이었는데요, 2018년에 나온 how does batch normalization help optimization? 논문에서 이 효과가 없다는 것으로 반박하였고, 학습이 잘되는 이유는 batch normalization이 loss landscape를 smooth하게 만들어주기 때문이라고 주장하였습니다.
그 이후로도 batch normalization이 왜 학습을 잘하게 만드는가?에 대한 해석 시도가 있는 것으로 알고 있습니다.
아 이미 반박 논문이 있다는 댓글을 이미 누군가가 달아주셨군요..
그래도 댓글 봐주셔서 감사드립니다
추억이네요. 면접관 앞에서 학습 파라미터에 여러 숫자 넣어서 이렇게 변한다 하면서 막 설명했던... 이제는 제가 어느 정도 물어보고 있는 입장이 되고있네요.
배울 때는 그렇겠거니 하고 넘어갔었는데, 영상에서 학습파라미터가 뭐냐? 질문 봤을때 머리가 멍해졌었네요 ㅋㅋㅋ
잘봤습니다
내일 면접인데 이 타이밍에 이런 귀한 영상을 올려주시다니 감사합니다
면접 화이팅!
@@sjdd01 감사합니다 꼭 잘 보고 오겠습니다
어캐되샸나여
@@zhaoxiuya결과요
@@박진열-o9n 내일 결과 나오는데
좀 떨리네요
영상 잘봤습니다!
추가로 batch norm에서 학습되는 gamma와 beta에서
Beta를 넣어주는 이유는 이전 layer의 output에서 평균을 빼버리면 bias가 사라지게 됩니다.
(Bias는 모든 output에 더해지기 때문에)
그래서 추가로 bias를 beta로 더해주고 gamma로 비율을 조절해주는 것으로 알고있어요
늘감사합니다
이분 왜 여기 계심?
??? : 엥 그냥 Conv 뒤에 대충 따라붙이는거 아님? Relu 랑 세트로다가 ㅋㅋ
Transformer의 Layernorm은 Batchnorm이랑 어떻게 다르게 돌아가는지도 많이 물어보시더라구요
딥러닝을 발로배우면 대답못하지
이래서 인공지능은 이론으로 먼저 배워야함
코딩으로 날로배우면 망함
제가 많이 사랑한다는것을 아십니까
좋은영상 감사합니다
배치놈 쓰는 이유가 이것도 아니고, 이런 1차원적인건 아예 면접에서 묻지도 않음 이건 딱 학부 4학년 정도 되는 애들이 2,3학년 앞에서 허세떨때 쓰는 내용임
저도 batchnorm 면접 질문 엄청 많이 받았는데 ㅋㅋ 그냥 우연이라기보다 기본 소양을 가르는 질문인가하고 생각하고 넘어갔던
영어로 통계수학을 배우는 중이라 핵심개념은 어느 정도까지 알 것 같은데 코딩 쪽은 아직 잘 모르겠네
배치놈에 대해 다루는 남자? 인공지능전문가다
완벽히 이해했습니다. 감사합니다.
(이해 못함)
딥러닝의 기초적인 부분은 어느정도 알겠는데 이런 원론적으로 이해해야 하는 부분은 어떻게 학습을 해야 하는지를 잘 모르겠네요. 참고할만한 책이라던가 자료가 있나요 아니면 그냥 하나하나 검색해서 학습을 해야 하나요
논문이요
알고리즘 새기 뭐지
렐루? 몰루~
▼ 영상 외 자료들 / 정보 공유
cafe.naver.com/imcommit