본문 바로가기
머신러닝

[강의]시즌1 딥러닝의기본 - 딥러닝의기본개념에 대해서 알아봅시다!

by 박정률 2017. 2. 20.

인류의 Ultimate dream : thinking machine  을 만드는 것.

처음에 뇌가 굉장히 복잡하게 연결된 것을 보고 놀랐지만 그 단위인 뉴런이 생각보다 너무 단순하였습니다.

어떤 input 이 있고 그 input 에 weight 를 곱한것들의  sum 이 일어난다. 어떤 bias 가 더해지고 그 값이 일정 값 이상이라면 활성화가 된다.



따라서 이것을 한번 구현해보았습니다.


output 은 1 또는 0 입니다.


당시의 인공지능을 구현하고 많은 관심을 불러 일으켰습니다.

But there are many Fasle Promises

it expects will be able to walk, talk, see, write, reproduce itself an be conscious of its existence


the problem is AND/OR problem : linearly separable

but XOR graph is different.

there are no way that make a line to separate + from -.



여러개를 합치면 할 수있다는 것을 증명했다! 그러나 w,b 를 학습을 할 수없다.

"No one on earth had found a viable way to train"

그렇게 할 수없다고 생각하던 중 w,b 를 학습방법을 해결했습니다.


이 방법을 제안했지만 처음에는 외면당했습니다. but atmosphere is cold.

Hinton rediscover the theory.

so complicated algorithm included xor is possible .



신경이 한번에 활성되지않고 부분적으로 활성화 된다는것을 발견했습니다!

동시에 그림 전체를 보는것이아니라 일부를 담당하고 그것들이 나중에 조합되는것이 아닐까?라는 생각으로  cnn 을 개발했습니다.


책을 읽어들이는 기계, 자동주행 자동차 등을 개발됬습니다.

터미너이터에서도 등장할정도 였습니다.


그러나 또다른 Big problem 에 봉착하였습니다.


Back propagation 을 할 때 Many layers에서 성능이 더 떨어졌습니다.

Neural network 보다 더 간단한 알고리즘들이 더 잘 동작되었습니다. (SVM , RandomForest 등)

사람들은 두번째 문제에 그럼그렇지~ 라는 반응을 보였죠.



이 단체는 당장 neural network 활용되지않아도 연구를 많이 지원해주곤 했습니다. canada 출신 AI가 그래서 많습니다.

"Everyone else was doing something different"




이 CIFAR 에서 Breakthrough 를 발견했습니다.

초기값을 주고 학습을 시켰는데 이 초기값을 잘주게 된다면 학습할 수있다!

초기값을 잘 주는 것이 중요해! 라는 것을 2006에 논문으로 입증하였습니다.

그리고 복잡한 신경망도 구현할 수 있다.



imagenet 이라는 이미지를 판별하는 대회를합니다.

alexnet 이라는 박사과정 연구생이 26.2 -> 15.3 으로 오류율을 줄여서 관심을 갖게되었습니다.

현재 deep learning은 3%로 줄어들었습니다.

Human은 5% 로 딥러닝이 뛰어넘었습니다.


그림을 설명할 수도 있게되었습니다.


어떤 API를 써야하는지 등등 을 판별하는 연구를 하고있습니다.

25%의 정확도를 딥러닝을 이용하여 65%까지 올라갔습니다.


90% 까지 사람의 말을 알아들을 수 있게되었습니다.

또한 알파고는 사람의 대표를 이겼습니다.



지금까지 안됬던 이유 네가지를 hinton 이 발표했습니다.

이건 다음시간에 알아보도록 합시다.


딥러닝 활용 : 

자막을 사람이 치지않고 받아들입니다.

페이스북 필터링을 해줍니다.

NEFLIX , Amazon 등이 있습니다.

옷가게만 해도 어떤물건을 진열해야할 지 딥러닝으로 판단할 수 있게됩니다.


지금 시작해도 세계적인 전문가가 될 수있습니다.

늦지않았습니다. 실용적으로 써보고 싶다 하시는 분들도 90%이상의 정확도를 가지고있어 여러분의 삶을 도울 수준이 되었습니다.

재미있는 분야입니다!