[ML] Learning rate

Learning rate

Large learning rate : overshooting

learning rate의 값이 너무 커버리면 이동을 매우 많이 하게 된다. 

그렇게 되면 cost값이 숫자가 아닌 값들이 출력될 수 있다.

Small learning rate : takes too long, stops at local minimum

learning rate의 값이 너무 적으면 이동이 매우 적게 된다.

그렇게 되면 시간이 너무 많이 걸리거나, 이동을 하다가 시작이 지나면 cost가 최저점이 아닌데도 불구하고 멈추게 된다.

그럼 어떻게 해야할까?

learning rates을 여러번 시도해보자. (시작은 0.01이 정도~~)