본문 바로가기
Study/Machine&Deep Learning

[ML] Learning rate

by graygreat 2018. 6. 3.
728x90
반응형


Learning rate


Large learning rate : overshooting


learning rate의 값이 너무 커버리면 이동을 매우 많이 하게 된다. 


그렇게 되면 cost값이 숫자가 아닌 값들이 출력될 수 있다.




Small learning rate : takes too long, stops at local minimum


learning rate의 값이 너무 적으면 이동이 매우 적게 된다.


그렇게 되면 시간이 너무 많이 걸리거나, 이동을 하다가 시작이 지나면 cost가 최저점이 아닌데도 불구하고 멈추게 된다.




그럼 어떻게 해야할까?


learning rates을 여러번 시도해보자. (시작은 0.01이 정도~~)




반응형

'Study > Machine&Deep Learning' 카테고리의 다른 글

[ML] Training and Test datasets  (0) 2018.06.03
[ML] Overfitting and Regularization  (0) 2018.06.03
[ML] Fancy Softmax Classifier  (0) 2018.05.31
[ML] Softmax classifier  (0) 2018.05.29
[ML] Logistic Classification  (0) 2018.05.20

댓글