[ML] ReLU

---

ReLU

---

Sigmoid는 1보다 작은 값을 계속 곱하기 때문에 최종적인 값은 굉장히 작은 값이 된다.

그렇기 때문에 Sigmoid를 사용하면 정확한 값을 얻을 수 없게 된다.

ReLU가 무엇일까?

1보다 작은 값을 계속 곱하게 되는 Sigmoid의 단점을 보완할 수 있는 함수이다.

아래의 그래프와 같이 0보다 작으면 계속 0이고, 0보다 크면 비례하여 값이 커진다.

ReLU를 사용하여 계속 계산을 하고 마지막에는 Sigmoid를 사용하여야 한다.

그 이유는 0 or 1로 표현해야하기 때문이다.