[실습] 모두의딥러닝 - linear regression의 cost 최소화의 Tensorflow를 구현해보자!

상수를 제거함으로써 hypothesis 를 다음과 같이 간략해보자.

matplotlib은 그래프를 출력하기위한 library 이다.

x축은 W에 로, y 축은 cost 로한다.

 
import tensorflow as tf
import pylab as plt
import matplotlib.pyplot as plt
#tf Graph Input
X = [1.,2.,3.]
Y = [1.,2.,3.]
m = n_samples = len(X)
 
#Set model weights
W = tf.placeholder(tf.float32)
 
#Construct a linear model
hypothesis = tf.mul(X,W)
 
#Cost function
cost = tf.reduce_sum(tf.pow(hypothesis-Y,2))/(m)
 
#Initializing the variables
init = tf.global_variables_initializer()
 
#For graphs
W_val = []
cost_val = []
 
#Launch the graph
sess = tf.Session()
sess.run(init)
for i in range(-30,50):
    print i*0.1, sess.run(cost, feed_dict={W: i*0.1})
    W_val.append(i*0.1)
    cost_val.append(sess.run(cost,feed_dict={W: i*0.1}))
 
#Graphic display
plt.plot(W_val, cost_val, 'ro')
plt.ylabel('Cost')
plt.xlabel('W')
plt.show()
 
 

실행하면 다음과 같은 그래프가 실행된다.

cost 가 최소가되는 점이 생기고 이점에서의 기울기가 0 임을 알 수 있다.

이제 descent algorithm에 의해서 이 때의 W값을 구해보자.

는 어느정도 내려가는 지 정도를 나타냄

기울기가 +이면 W를 더작게 하고 -이면 W를 증가시켜 기울기가 0 인부분을 구한다.

import tensorflow as tf
x_data = [1.,2.,3.]
y_data = [1.,2.,3.]
 
#Try to find values for W and b that compute y_Data
#  = W * x_data  = W * x_data + b
# (We know that W should be 1 and b 0, but Tensorflow will
# figure that out for us.)
 
W = tf.Variable(tf.random_uniform([1],-10.0,10.0))
 
X = tf.placeholder(tf.float32)
Y = tf.placeholder(tf.float32)
 
# Our hypothesis
hypothesis = W * X
 
# Simplified cost function
cost = tf.reduce_sum(tf.square(hypothesis - Y))
 
#Minimize
descent = W- tf.mul(0.1, tf.reduce_mean(tf.mul((tf.mul(W,X)-Y),X)))
update = W.assign(descent)
# Before startin, initialize the variables. We wiil run this first.
init = tf.initialize_all_variables()
 
#For graphs
W_val = []
cost_val = []
 
#Launch the graph
sess = tf.Session()
sess.run(init)
for step in xrange(100):
  sess.run(update, feed_dict = {X:x_data, Y:y_data})
  print step,sess.run(cost, feed_dict = {X:x_data, Y:y_data}),sess.run(W)

실행하면 cost 는 0 W는 1에 수렴함을 알 수있다!