목록gradient descent (1)

하마가 분석하마

4강. Optimization

Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 정리한 내용입니다. Optimization Optimization L(W) 함숫값을 최소화하는 최적의 W를 구하는 것이 목적이다. 따라서 최적의 W는 W*=argmin(L(W))의 식으로 구한다. argmin은 최소화원(minimizer)이고, L(W)를 최솟값으로 만드는 W를 W*으로 정의한다. L(W)는 전체 개형을 알 수 있는 함수가 아니다. W=W0라는 점이 주어졌을 때, 그 근접한 곳만 알 수 있다. 따라서 산에서 아래로 내려가는 것처럼 W0라는 점이 주어지면 함수가 감소하는 방향으로 값을 최적화한다. 그러나 gradient를 구해서 함수가 감소하는 방향으로 가는 게 절대 전체적인 ..
Deep learning/Michigan university deep learning 2022. 1. 16. 15:06
이전 Prev 1 Next 다음