머신러닝 및 딥러닝 분야에서 핵심적인 개념 중 하나인 경사 하강법에 대해 알아보자. 경사 하강법 AI 모델의 가중치를 최적화 하는 방법 중 하나이다. 현재 위치에서 미분한 값을 빼서 함수 값을 감소시킨다. 벡터로 입력받는 다변수 함수의 경우, 편미분을 통해 그레디언트 벡터를 얻어 경사 하강법에 사용한다. 경사 하강법의 한계 경사 하강법은 미분 가능하고 볼록(convex)한 함수에 대해서만 이론적으로 수렴할 수 있다. 그러나, 그 외의 함수에서는 최소점으로의 수렴을 보장하지 않는다. 확률적 경사 하강법 (SGD) 볼록하지 않은 (non-convex) Cost Function을 최적화하기 위해 사용한다. 모든 데이터를 사용해서 업데이트하는 것이 아닌, 데이터 한 개 또는 데이터 일부를 활용해 업데이트한다. ..
