머신러닝17 [강의]시즌1 딥러닝의기본 - Sigmoid 보다 ReLU가 더좋은 이유 어떤 값 이상이면 activate하는 Activation function 이 존재합니다. 그렇다면 3-level 은 어떻게 할까요? 이런경우에 맨 앞부분을 Input과 관련되었으므로 input layer 마지막은 Output layer 가운데는 Hidden layer 라고 합니다. 그러나 한개 한것보다 안좋은 성능이 나왔습니다. 왜 이런 문제가 발생할까요? 2단, 3단 을 풀 때는 잘 풀리던게 9단 10 단 부터는 문제가 발생한 것입니다.그 이유는 무엇일까요? 항상 sigmoid 함수를 통과하기 때문에 0과 1사이 값만 나오고chain 을 거칠 때마다 0.01 * 0.01 * 0.03 처럼 0에 점점 가까워집니다.따라서 처음의 입력이 level 이 높아질 수록 영향이 낮아지는것입니다. Vanishing .. 2017. 2. 21. [강의]시즌1 딥러닝의기본 - 딥러닝의기본개념에 대해서 알아봅시다! 인류의 Ultimate dream : thinking machine 을 만드는 것.처음에 뇌가 굉장히 복잡하게 연결된 것을 보고 놀랐지만 그 단위인 뉴런이 생각보다 너무 단순하였습니다.어떤 input 이 있고 그 input 에 weight 를 곱한것들의 sum 이 일어난다. 어떤 bias 가 더해지고 그 값이 일정 값 이상이라면 활성화가 된다. 따라서 이것을 한번 구현해보았습니다. output 은 1 또는 0 입니다. 당시의 인공지능을 구현하고 많은 관심을 불러 일으켰습니다.But there are many Fasle Promisesit expects will be able to walk, talk, see, write, reproduce itself an be conscious of its existe.. 2017. 2. 20. [강의]시즌1 딥러닝의기본 - Training/Testing 데이타 셋 어떤 모델이 얼마나 훌륭한가? 성공적으로 예측할 수 있을까? 를 어떻게 평가할까요? 앞부분을 Training data set 뒷부분을 test set 이라고 합니다.test set 은 숨겨놓고 training set으로 학습을 시킵니다.학습이 끝난 뒤에 test set 으로 예측값과 실제값을 비교해서 평가를 하면 됩니다.교과서와 실전문제(모의고사) 라고 생각하시면 됩니다. 일반적으로 Training set으로 학습을 시킨 후에 Validation set 으로 이 중에 어떤값이 좋을까 튜닝을 하는 것입니다. 완료되면 Testing은 마지막에 시험본다고 생각하시면 됩니다. Online learning 이라는 학습법도 있습니다.100만의 data가 있다면 여러개로 잘라서 따로 학습시킵니다.추가로 10만개가 들.. 2017. 2. 17. [강의]시즌1 딥러닝의기본 - Softmax Regression에 대하여 알아보자! Logistic regression 에서H(X) = WX 에서 return 하는값이 100, 200 등이 나올 수 있기 때문에 0이나 1을 필요로하는 Binary classification 에는적합하지 않았습니다. 따라서 0~1사이의 값으로 압축할 수 있는 함수 g(z) 가 필요로 했습니다.따라서 알아낸 sigmoid 함수(logistic 이라고도 함)를 도입했습니다. 둘을 구분하는 선을 찾는 것! 이 궁극적인 목표입니다 이 아이디어를 Multinomial classification 으로 가져와 봅시다! 이러한 Hyperplace 가 생성될 텐데요. 각각의 classify에 대하여 Hypothesis 가 생길 것입니다.이것은 다음과같이 3가지의 Classification 으로 나뉘어 집니다. 행렬로써 표.. 2017. 2. 17. 이전 1 2 3 4 5 다음
