질문이 있습니다! 1. 14:13 분에서 (-Adx)^T(z-Ax)가 스칼라 값이라 전치해도 이전과 같아 최종적으로 -2(z-Ax)^TAdx로 묶인다고 하시고 그 이후에 14:53 분 정도에 벡터 shape을 맞추기 위해서 -2(z-Ax)^TAdx를 전치 해준다고 하셨는데 스칼라값이니 전치를 안 해줘도 되지않나요? 2. z = Ax + n 에서 n이 노이즈라면 A는 정확하게 어떤 것인가요? 갑자기 선형변환이 일어나서 햇갈리네요.. 3. Ax와 z의 오차를 가장 작게해주는 x를 찾으면 되는 건가요? (그럼 x가 파라미터인 건가요?) 좋은 영상 만들어주셔서 감사합니다!
경사하강법(Gradient descent) 개념: local minimum을 찾는 알고리즘의 일종. 알고리즘: 1)Initialize X₀; 2) Xₖ₊₁ = Xₖ - α(df/dx); 3) 2의 과정을 반복. ** f를 미분한 값을 이용해 방향을 찾는다. 간격은 적당한 값의 α로 설정한다. ** Z̲ = AX̲ + n 꼴의 예제를 기억하자. 감사합니다. 👍
로스함수의 그래프에서, 가장 낮은곳으로 가려면, 로스 그래프의 기울기의 역 방향으로 이동하다보면 갈 수 있으니까, 특정 x에서의 그래프의 순간변화량 (로스(스칼라)를 x(벡터)로 미분)을 구하여, 가장 낮은 곳으로 갈 수 있는 다음 x의 위치를 구한다! 라고 설명하면 적절할까요? 근데, 딥러닝에서는 input data, 파라미터, label을 사용하여 기울기를 조정할텐데, 그럼 여기서 input data는 A, 파라미터는 x, label은 z가 맞을까요? 뭔가 강의를 필요한것들 위주로 정주행하면서 쭉 듣고있는데, 한마디 요약해주시는게 팍팍 박히다보니 저도 비슷한 이해법을 활용하게 되는것 같습니다. 근데 맞게 이해한건지 궁금하네요 ㅎㅎ
안녕하세요. 강의 잘듣고있습니다. 궁굼증이 하나있는데 일반적인 경사하강법의 경우 초기 가중치 값에서 그 값에서의 손실함수에 미분값에 learning rate를 곱해서 초기 가중치에서 조금씩 업데이트를 하는 방법을 사용하는데, 왜 손실함수의 미분값이 0인 지점의 가중치값을 바로 사용하지 않는지가 궁굼합니다. 질문이 이상할수가 있겠네요....
![[최적화] 3-2강. 뉴턴법 (Newton's method) 쉬운 설명](http://i.ytimg.com/vi/MlZoafOnMS0/mqdefault.jpg)
![[최적화] 3-2강. 뉴턴법 (Newton's method) 쉬운 설명](/img/tr.png)
![[최적화] 5-1강. 라그랑주 승수법 (Lagrangian multiplier) | 딱 화살표 두 개로 설명 끝! (라그랑주 승수 기하학적 설명)](http://i.ytimg.com/vi/NKB0XqMFuqA/mqdefault.jpg)
![[딥러닝] 1-2강. 경사 하강법 vs Newton's method | 선형 회귀 풀이](/img/n.gif)
3:43 - gradient가 왜 가장 가파른 방향을 향하는가? 증명 -> ua-cam.com/video/MeyIV72Gvpw/v-deo.html
13:20 - 벡터로 미분하기 (gradient 구하기) -> ua-cam.com/video/JYOA2zNL9bw/v-deo.html
질문이 있습니다!
1. 14:13 분에서 (-Adx)^T(z-Ax)가 스칼라 값이라 전치해도 이전과 같아 최종적으로 -2(z-Ax)^TAdx로 묶인다고 하시고
그 이후에 14:53 분 정도에 벡터 shape을 맞추기 위해서 -2(z-Ax)^TAdx를 전치 해준다고 하셨는데 스칼라값이니 전치를 안 해줘도 되지않나요?
2. z = Ax + n 에서 n이 노이즈라면 A는 정확하게 어떤 것인가요? 갑자기 선형변환이 일어나서 햇갈리네요..
3. Ax와 z의 오차를 가장 작게해주는 x를 찾으면 되는 건가요? (그럼 x가 파라미터인 건가요?)
좋은 영상 만들어주셔서 감사합니다!
@@mgpark9343 댓글 다실때 저를 태그해주셔야 알림 뜨나 봅니다 이제 봤어요ㅠ
@@mgpark9343 1 . cost는 스칼라인데 미분은 벡터라서 전치 전후가 다릅니다
2. x 에 선형변환 거친 후 노이즈가 더해져서 측정되는 것 입니다.
3. 넵 x를 찾는 문제입니다!
@@hyukppen 이해가 됐습니다! 답변 달아주셔서 감사합니다!
감사합니다 선생님. 제로투 부탁드립니다.
Z= x+n,
cost function for x
(z-x), minizing 8:31 8:42
When x is vector
고2인데 이해가 잘됩니다.
세특 주제로 활용해볼게요 너무 감사합니다.
엄청 쉽게 설명해주시네요!!
출구없는 혁펜하임 채널에 오신 것을 환영합니다
썸네일보고 이해를 포기했습니다
악질 ㅋㅋㅋㅋㅋ
제로투 10번 돌려봤는데 제로투 부탁드립니다.
경사하강법(Gradient descent)
개념: local minimum을 찾는 알고리즘의 일종.
알고리즘: 1)Initialize X₀; 2) Xₖ₊₁ = Xₖ - α(df/dx); 3) 2의 과정을 반복.
** f를 미분한 값을 이용해 방향을 찾는다. 간격은 적당한 값의 α로 설정한다.
** Z̲ = AX̲ + n 꼴의 예제를 기억하자.
감사합니다. 👍
이해가 안돼요!! 엉덩이 convex 하게 튕기며 제로투 부탁드립니다.
한번에 싹 이해가 되네요.
이제 제로투 부탁드립니다.
10번 돌려봤는데도 너무 어렵네요...제로투 부탁드립니다.
증말 너무 재밌씁니다 빛펜하임
로스함수의 그래프에서, 가장 낮은곳으로 가려면, 로스 그래프의 기울기의 역 방향으로 이동하다보면 갈 수 있으니까,
특정 x에서의 그래프의 순간변화량 (로스(스칼라)를 x(벡터)로 미분)을 구하여, 가장 낮은 곳으로 갈 수 있는 다음 x의 위치를 구한다! 라고 설명하면 적절할까요?
근데, 딥러닝에서는 input data, 파라미터, label을 사용하여 기울기를 조정할텐데,
그럼 여기서 input data는 A, 파라미터는 x, label은 z가 맞을까요?
뭔가 강의를 필요한것들 위주로 정주행하면서 쭉 듣고있는데, 한마디 요약해주시는게 팍팍 박히다보니 저도 비슷한 이해법을 활용하게 되는것 같습니다. 근데 맞게 이해한건지 궁금하네요 ㅎㅎ
넵 모두 정확하게 잘 설명해주셨습니다 ㅎㅎ 완벽히 이해하셨군요..!
썸네일을 보고 안들어올수가 없었습니다.
안녕하세요. 강의 잘듣고있습니다. 궁굼증이 하나있는데 일반적인 경사하강법의 경우 초기 가중치 값에서 그 값에서의 손실함수에 미분값에 learning rate를 곱해서 초기 가중치에서 조금씩 업데이트를 하는 방법을 사용하는데, 왜 손실함수의 미분값이 0인 지점의 가중치값을 바로 사용하지 않는지가 궁굼합니다. 질문이 이상할수가 있겠네요....
3분 40초 즈음에 그냥 미분을 하면 가장 가파른 방향임을 알 수 있는 강의는 딥러닝 강의 1-3 아닌가요?
앗 ㅎㅎ 맞습니다!
강의 하나를 비공개로 전환하면서 하나가 밀렸네요 ㅠㅎㅎ
감사합니다 :)
영상 감사합니다. 질문이 있네요. gradient 가 단변수 함수에서는 접선이 되고, 다변수함수에서는 접평면의 법선이 된다고 알고 있는데, 이 부분이 명쾌하지 않습니다. 혹시 도움을 받을 수 있을까요? 감사합니다.
gradient에서부터 뭔가 오해가 있는 것 같습니다.
접선이 아니고 접선의 기울기가 gradient 입니다!
단변수 함수면은 그냥 미분이죠 ㅎㅎ
공업수학에서 들은 거 같기도하고 모르겠네…
제로투 기대하고 들어왔는데 OT때부터 진도 나가는건 좀 아닌거 같아요
제로투 대령해주십시오
이해가 안돼요. 제로투 부탁드립니다.
네 제로투 부탁 드립니다.
이해너무 잘되는게 이해와는 별개로 제로투 보고싶어요
한때는 라이브 스트리밍때 리액션으로 했었습니다 ㅋㅋㅋㅋ
@@hyukppen 오,,그럼 다음 리액션은 섹시댄스 부탁드립니다 ㅎ_ㅎ
@@마드모아젤-n7x 구독자님들 다 도망가겠네요! ㅋㅋㅋ
이해가 전혀 안됩니다;; 제로투 부탁드립니다
뭔대이거 ㅋㅋㅋ 제로투추는 강의가잇네 ㅋㅋㅋ
O
제로투 부탁드립니다