[최적화] 3-2강. 뉴턴법 (Newton's method) 쉬운 설명

[@SphereofTime]

1:42 newton method, zero finding

[@SphereofTime]

6:42 vector differentiation

[@SphereofTime]

0:37 z=AX+b’s objective function

[@Kjhggffffftreefiiilll]

시험 1즈일전에 ㅠㅠ 넘 감사합니당

[@sion5224]

좋은 강의 감사합니다. 6:32 에서 d/dx^T(df/dx^T) 는 갑자기 어디서 나온걸까요??

[@hyukppen]

두번 미분하는 것입니다!

[@sion5224]

@@hyukppen 아 그냥 이전에 미분하고 또 한다는걸 쓴거군요! 계속해서 쓴게 아니고 따로 쓰신거네요 감사합니다

[@현영오의골목식당]

정말 기초적인 질문인데요. Xk - Xk+1 = f(X)/f'(X) 이렇게 되는 이유가 뭔지 알수있을까요?

[@hyukppen]

그렇게 된다기 보단 그렇게 Xk+1을 삼은겁니다. 접선 뿅 쏴서 x절편 찾은거에요

[@슈웃-c8r]

너무 늦었지만 말해드리면
fx의 1차 테일러 전개식을 사용해서 f(x)=f(x0)+f'(x0)(x-x0) 에서 fx=0 대입 후 식을 정리하면 저렇게 됩니다. 물론 점화식으로 표현한건 저 과정을 반복한다는 뜻이고요

[@rvs418]

교수님 톡방 비번도 모르는 정도면 어디까지 멍청한걸까요

[@hyukppen]

압 ㅋㅋㅋㅋ모를 수도 있죠!
1100입니다 ㅎㅎ

[@hyukppen]

x가 scalar 일 때는 단순히 step size를 잘 정해준다는 의미이지만
vector 일 때는 Hessian inverse 즉, 행렬이 곱해지는 것이라 update "방향"도 바뀝니다!!
직접 gradient와 Newton method를 비교해봤습니다 깜놀할지도 몰라요
그림 : ibb.co/VjvkYL7

[@Jun_DaWondaBoi]

N-R, secant method, Golden search, parabolic 등등 배우다보면... 만능툴은 없는건가 싶습니다. 미분 배우다가 라플라스 만난 느낌을 느끼고 싶은데 이놈의 과목은 끝이 없네요 ㅋㅋㅋ

[@donghyunlee3320]

혹시 Hessian Matrix에대해 자세히 알려주실 수 있나요?

[@hyukppen]

스칼라를 벡터로 두번 미분한 결과입니다!

[@donghyunlee3320]

​@@hyukppen Hessian Matrix가 x에서 positive-define이면 원함수가 x에서 convex하면서 극소값을 갖고, x에서 negative-define이면 원함수가 x에서 concave하면서 극대값을 갖는거 맞나요?

[@hyukppen]

@@donghyunlee3320 convex concave는 맞는데 극점인지는 미분=0을 통해 알아 봐야 하죠~
예를 들어 x^2는 모든 점에서 두번 미분>0 이기 때문에..

[@donghyunlee3320]

@@hyukppen 아하 감사합니다

[@UMTI14]

O