[ML] Softmax classifier

Softmax의 기본

Scores --> probabilities

Softmax

'ONE-HOT' Encoding을 통해 가장 큰 값을 제외한 값을 0으로 바꾸고 가장 큰 값을 1로 바꿈.

Softmax Classifier의 Cost function

 

값이 일치하면 0, 그렇지 않으면 무한대로 간다.

arg_max : 새로운 값(리스트)를 던져주고 함수의 인자에 따라 몇 번째 인덱스에 존재하는지를 반환해주는 함수.

 

arg_max(a, 1)의 뜻은 a에서 1번째 값, 즉 가장 큰 값을 찾으라는 것을 말한다. [1, 11, 7, 9]에서 가장 큰 값의 인덱스는 1이기 때문에 1을 반환하게 된다.

소스 코드

import tensorflow as tf x_data = [[1, 2, 1, 1], [2, 1, 3, 2], [3, 1, 3, 4], [4, 1, 5, 5], [1, 7, 5, 5], [1, 2, 5, 6], [1, 6, 6, 6], [1, 7, 7, 7]] y_data = [[0, 0, 1], [0, 0, 1], [0, 0, 1], [0, 1, 0], [0, 1, 0], [0, 1, 0], [1, 0, 0], [1, 0, 0]] X = tf.placeholder(tf.float32, [None, 4]) Y = tf.placeholder(tf.float32, [None, 3]) np_classes = 3 W = tf.Variable(tf.random_normal([4, np_classes]), name='weight') b = tf.Variable(tf.random_normal([np_classes]), name='bias') hypothesis = tf.nn.softmax(tf.matmul(X, W) + b) cost = tf.reduce_mean(-tf.reduce_sum(Y * tf.log(hypothesis), axis=1)) optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.01).minimize(cost) with tf.Session() as sess: sess.run(tf.global_variables_initializer()) for step in range(2001): sess.run(optimizer, feed_dict={X: x_data, Y: y_data}) if step % 200 == 0: print(step, sess.run(cost, feed_dict={X: x_data, Y: y_data})) print('--------------') # Testing & One-hot encoding a = sess.run(hypothesis, feed_dict={X: [[1, 11, 7, 9]]}) print(a, sess.run(tf.argmax(a, 1))) print('--------------') b = sess.run(hypothesis, feed_dict={X: [[1, 3, 4, 3]]}) print(b, sess.run(tf.argmax(b, 1))) print('--------------') c = sess.run(hypothesis, feed_dict={X: [[1, 1, 0, 1]]}) print(c, sess.run(tf.argmax(c, 1))) print('--------------') all = sess.run(hypothesis, feed_dict={ X: [[1, 11, 7, 9], [1, 3, 4, 3], [1, 1, 0, 1]]}) print(all, sess.run(tf.argmax(all, 1)))

결과