[Deep learning] Gradient Descent Optimizer
https://icim.nims.re.kr/post/easyMath/70 알기 쉬운 산업수학 알기 쉬운 산업수학 Gradient Descent Optimizer 2017년 12월 13일(수) | 김민중 URL (1) 주어진 목적함수 f f 의 최솟값(minimum)을 찾아가는 알고리즘으로 다음과 같은 방식으로 최솟값을 찾아간다. 초기값 x 0 x 0 을 임의로 설정, 적당한 Learning rate α α 설정 n ≥ 0 n ≥ 0 인 정수에 대해서 x n + 1 x n + 1 은 다음과 같이 정의한다. x n + 1 : = x n − α ⋅ ∇ f ( x n ) x n + 1 := x n − α ⋅ ∇ f ( x n ) 주의사항 함수 f f 의 모양이 convex가 아닌 경우 global minimum이 아닌 local minimum으로 x n x n 이 수렴할 가능성이 있다. Learning rate α α 값이 큰 경우 최솟값으로 x n x n 이 수렴하는 것이 아니라 발산할 수 있다. Learning rate α α 값이 작은 경우 수렴하는 속도가 지나치게 느릴 수 있다. 방정식 2 ⋅ x = 10 2 ⋅ x = 10 의 근을 Gradient Descent를 이용해서 찾아보자. 목적함수 f ( x ) : = ( 10 − 2 x ) 2 f ( x ) := ( 10 − 2 x ) 2 으로 설정하겠다( f f 의 최솟값인 0이 되게 하는 x x 값이 우리가 원하는 방정식의 근이다). 초기값 x 0 = 0 x 0 = 0 , Learning rate α = 0.05 α = 0.05 으로 설정 f ′ ( x ) = 4 ( 2 x − 10 ) f ′ ( x ) = 4 ( 2 x − 10 ) 이므로 x 1 x 1 은 다음과 같이 구할 수 있다. x 1 = x 0 − α ⋅ f ′ ( x 0 ) = 0 − 0.05 ⋅ ( − 40 ) = 2 x