본문 바로가기

분류 전체보기63

[강의]시즌1 딥러닝의기본 - Training/Testing 데이타 셋 어떤 모델이 얼마나 훌륭한가? 성공적으로 예측할 수 있을까? 를 어떻게 평가할까요? 앞부분을 Training data set 뒷부분을 test set 이라고 합니다.test set 은 숨겨놓고 training set으로 학습을 시킵니다.학습이 끝난 뒤에 test set 으로 예측값과 실제값을 비교해서 평가를 하면 됩니다.교과서와 실전문제(모의고사) 라고 생각하시면 됩니다. 일반적으로 Training set으로 학습을 시킨 후에 Validation set 으로 이 중에 어떤값이 좋을까 튜닝을 하는 것입니다. 완료되면 Testing은 마지막에 시험본다고 생각하시면 됩니다. Online learning 이라는 학습법도 있습니다.100만의 data가 있다면 여러개로 잘라서 따로 학습시킵니다.추가로 10만개가 들.. 2017. 2. 17.
[강의]시즌1 딥러닝의기본 - 학습 rate, Overfitting, Regularization 1. Learning rateLearning rate 를 잘 정하는 것은 중요합니다! Large learning rate 를 한경우를 생각해봅시다.step이 너무 큰경우 다음과 같이 계속 튕겨 나갈 수있습니다. Small learning rate 를 생각해 봅시다. 정확한 Learning rate 는 없고 데이터 환경에 따라 달라집니다따라서 0.01 정도로 시작해서 발산을하면 좀 작게 너무 조금움직이면 크게하는 것이 좋습니다. 2. Data(X) preprocessing for gradient descent가끔 선처리해야할 이유가 있습니다.가운데 인 최고로 낮은곳으로 가는것이 목표입니다. 이 때 두개의 x1,x2 값이 너무 차이가 많이난다면 동그랗지않고 왜곡된 등고선이 나타날 것입니다.이 때 어떤 값에서.. 2017. 2. 17.
[강의]시즌1 딥러닝의기본 - Softmax Regression에 대하여 알아보자! Logistic regression 에서H(X) = WX 에서 return 하는값이 100, 200 등이 나올 수 있기 때문에 0이나 1을 필요로하는 Binary classification 에는적합하지 않았습니다. 따라서 0~1사이의 값으로 압축할 수 있는 함수 g(z) 가 필요로 했습니다.따라서 알아낸 sigmoid 함수(logistic 이라고도 함)를 도입했습니다. 둘을 구분하는 선을 찾는 것! 이 궁극적인 목표입니다 이 아이디어를 Multinomial classification 으로 가져와 봅시다! 이러한 Hyperplace 가 생성될 텐데요. 각각의 classify에 대하여 Hypothesis 가 생길 것입니다.이것은 다음과같이 3가지의 Classification 으로 나뉘어 집니다. 행렬로써 표.. 2017. 2. 17.
[실습] 모두의딥러닝 - Logistic Classification 을 Tensorflow로 구현해보자! 이론시간 에 배웠던 Logistic Regression 을 한번더 살펴보면 다음과 같습니다! 아직 X의 크기가 정해지지 않았기 때문에 len을 입력합니다. data 는 다음과 같습니다.이 때 X0를 모두 1로 해준 이유는 b를 제거하기 위해서입니다. 코드는 다음과 같습니다. 123456789101112131415161718192021222324252627282930313233343536373839404142import tensorflow as tfimport numpy as np xy = np.loadtxt('train.txt',unpack=True, dtype = 'float32')x_data = xy[0:-1]y_data = xy[-1];X = tf.placeholder(tf.float32)Y = t.. 2017. 2. 15.