본문 바로가기
반응형

2018/069

[ML] Training and Test datasets 수 많은 data가 있으면 그 모든 데이터를 학습하는데 사용하지 않고 일부분은 따로 떼어 test하는 곳에 사용하게 된다. data를 학습하는 것을 training, training한 data를 사용하여 결과를 확인해보는 data를 test라고 한다. 소스 코드를 보고 이해해 보자. 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152import tensorflow as tf x_data = [[1, 2, 1], [1, 3, 2], [1, 3, 4], [1, 5, 5], [1, 7, 5], [1, 2, 5], [1, 6, 6], [1, 7, 7]]y_data = [[0, 0, 1], [0.. 2018. 6. 3.
[ML] Overfitting and Regularization Overfitting - Our model is very goot with training data set (with memomrization), but not good at test dataset or in real use model 1은 일반적인 model이지만, model2는 가지고 있는 데이터에만 적합한 model이다. model2와 같은 것을 overfitting이라고 한다. 그러면 overfitting을 어떻게 줄일까? - training data를 늘린다. - features의 수를 줄인다 - Regularization(일반화) Regularization cost function 뒤에 term을 붙여준다. regularization strength가 0이 되면 regularization을 쓰.. 2018. 6. 3.
[ML] Learning rate Learning rate Large learning rate : overshooting learning rate의 값이 너무 커버리면 이동을 매우 많이 하게 된다. 그렇게 되면 cost값이 숫자가 아닌 값들이 출력될 수 있다. Small learning rate : takes too long, stops at local minimum learning rate의 값이 너무 적으면 이동이 매우 적게 된다. 그렇게 되면 시간이 너무 많이 걸리거나, 이동을 하다가 시작이 지나면 cost가 최저점이 아닌데도 불구하고 멈추게 된다. 그럼 어떻게 해야할까? learning rates을 여러번 시도해보자. (시작은 0.01이 정도~~) 2018. 6. 3.
반응형

티스토리툴바