[이론헷갈리지마] (1)경사하강법, 확률적 경사하강법 SGD stochastic Gradient discent

헷갈렸던 내용 정리

 

경사하강법, 확률적 경사하강법

1. 확률적 경사하강법은 모든 데이터를 사용해서 업데이트 한다. → Nono

2. 전체 데이터  (X, y)(X,y) 를 쓰지 않고 미니배치  (X \textstyle _( \textstyle _b \textstyle _), y \textstyle _( \textstyle _b \textstyle _))(X(b),y(b)) 를 써서 업데이트 하므로 연산량이  \frac bnn**b 로 감소한다. (단,  nn 은 자연수)

3. 딥러닝의 경우 확률적 경사하강법이 경사하강법보다 실증적으로 더 낫다고 검증되었다.

4. 확률적 경사하강법은 데이터의 일부를 가지고 파라미터를 업데이트하기 때문에 연산자원을 좀 더 효율적으로 활용하는데 도움이 된다.

5. 확률적 경사하강법은 데이터 한 개 또는 일부를 활용하여 업데이트 한다.

미니배치

1. 경사하강법은 전체데이터  D=(X, y)D=(X,y) 를 가지고 목적식의 그레디언트 벡터인 \nabla_\theta L(D, \theta)∇θ**L(D,θ)를 계산한다.

2. 확률적 경사하강법은 미니배치  D\textstyle _(\textstyle b \textstyle)=(X\textstyle _(\textstyle b \textstyle), y\textstyle _(\textstyle b \textstyle))\subset DD(b)=(X(b),y(b))⊂D 를 가지고 그레디언트 벡터를 계산한다.

3. 매번 다른 미니 배치를 사용하기 때문에 곡선의 모양이 바뀌게 된다.

4. 확률적 경사하강법은 볼록이 아닌 목적식에서도 사용가능하므로 경사하강법보다 머신러닝 학습에 효율적이다.

5. 경사하강법은 볼록이 아닌 목적식에서도 사용가능하므로 확률적 경사하강법보다 머신러닝 학습에 효율적이다.→ Nono