끝이 없는 배움의 끝

[ML] Fancy Softmax Classifier 본문

Study/Machine&Deep Learning

[ML] Fancy Softmax Classifier

oopsys 2018.05.31 20:22

Fancy Softmax Classifier


우선 one_hot과 reshape에 대해서 알아보자.




one_hot encoding은 softmax로 구한 값 중 가장 큰 값을 1, 그 외의 값을 0으로 encoding한다. 


reshape은 무엇일까?


위 그림을 보자.


맨 끝에 Y값을 보면 0~6 까지의 값이 나와있다.


이것은 one_hot의 형태가 아니다. 그러므로 이 값을 reshape을 사용하여 one_hot 형태로 바꿔줄 수 있다.


예를들어 0은 1000000 으로, 3은 00010000 으로 말이다.


[[0], [3]]은 [[1000000], [0001000]]이 된다.


다시 한번 보면, 처음 Y의 값은 shape(?, 1)이 된다. 행은 ? 열은 1


one_hot을 한번 하게 되면 [[[1000000, 0001000]]]이 되고 shape(?, 1, 7)이 된다.


여기서 reshape을 하게 되면 [[1000000, 0001000]]이 되고 shape(?, 7)이 된다. 우리가 원하는 형태이다.


이제 소스코드를 작성해보자.


소스코드


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
import tensorflow as tf
import numpy as np
 
xy = np.loadtxt('data-04-zoo.csv', delimiter=',', dtype=np.float32)
x_data = xy[:, 0:-1]
y_data = xy[:, [-1]]
 
nb_classes = 7
 
= tf.placeholder(tf.float32, [None, 16])
= tf.placeholder(tf.int32, [None, 1])
Y_one_hot = tf.one_hot(Y, nb_classes)
print("ont_hot", Y_one_hot)
Y_one_hot = tf.reshape(Y_one_hot, [-1, nb_classes])
print("reshape", Y_one_hot)
 
= tf.Variable(tf.random_normal([16, nb_classes]), name='weight')
= tf.Variable(tf.random_normal([nb_classes]), name='bias')
 
logits = tf.matmul(X, W) + b
hypothesis = tf.nn.softmax(logits)
 
cost_i = tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=Y_one_hot)
cost = tf.reduce_mean(cost_i)
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(cost)
 
prediction = tf.argmax(hypothesis, 1)
correct_prediction = tf.equal(prediction, tf.argmax(Y_one_hot, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
 
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
 
    for step in range(2000):
        sess.run(optimizer, feed_dict={X: x_data, Y: y_data})
        if step % 100 == 0:
            loss, acc = sess.run([cost, accuracy], feed_dict={
                                 X: x_data, Y: y_data})
            print("Step: {:5}\tLoss: {:.3f}\tAcc: {:.2%}".format(
                step, loss, acc))
 
    pred = sess.run(prediction, feed_dict={X: x_data})
    # y_data: (N,1) = flatten => (N, ) matches pred.shape
    for p, y in zip(pred, y_data.flatten()):
        print("[{}] Prediction: {} True Y: {}".format(p == int(y), p, int(y)))




결과


                       



'Study > Machine&Deep Learning' 카테고리의 다른 글

[ML] Overfitting and Regularization  (0) 2018.06.03
[ML] Learning rate  (0) 2018.06.03
[ML] Fancy Softmax Classifier  (0) 2018.05.31
[ML] Softmax classifier  (0) 2018.05.29
[ML] Logistic Classification  (0) 2018.05.20
[ML] TensorFlow로 파일에서 데이터 읽어오기  (2) 2018.05.16
0 Comments
댓글쓰기 폼