Supervised / Unsupervised Learning Supervised Learning 1. Label이 존재 2. Label을 통해 loss function을 정의 가능하다.(x -> y로 대응되는 신경망 구축이 가능하다.) 3. Classification, Regression, Object detection, Semantaic segmentation, image captioning이 이에 속함 Unsupervised Learning 1. Lbael이 존재하지 않음 (대신, Label이 존재하지 않아서 훈련 비용이 싸다.) 2, Label을 통해 직접적으로 loss function을 정의할 수 없으므로 hidden structure를 이용하게 된다. 3. Clustering, Dimensio..

이번 단원에서는 CNN 내부에서 어떠한 일이 벌어지는 것인지 이해하기 위한 내용을 포함하고 있다. 현재 딥러닝이 가지고 있는 큰 문제점 중 하나는 내부에서 어떠한 일이 벌어지는지 명확하게 설명하기 힘들다는 점이다. 따라서 이러한 측면에서 중간에서 어떠한 일이 벌어지는지 규명하기 위한 노력 정도로 이 단원을 이해해주면 된다. First Layer Weight vector와 나란할 때 input값과의 inner product의 값이 최대가 된다. 즉, activation이 maximize하기 위해서는 input과 weight는 동일하다. 이를 통해 해당 filter가 어느 부분을 보고 있는지를 추정할 수 있다. 그림에서 볼 수 있는 것처럼 architecture의 종류와 data의 종류와 무관하게 first..

이전까지는 Image Classification을 하기 위한 방법을 살펴보았었다. Input image가 주어졌을 때, CNN이나 RNN 등의 방법을 활용하여 주어진 이미지가 어떠한 클래스에 속하는지를 판단하는 작업을 수행하였다. Computer Vision에게 주어진 과제는 그외에도 여러가지가 존재하는데 크게 보면, 4가지 task가 존재한다. Semantic Segmentation 첫번째로는 Semantic Segmentation이다. 해당 작업은 이미지를 받아 모든 pixel를 Category label에 대응시키는 작업이라고 할 수 있다. 각 pixel을 단순히 category에 대응시키는 것이므로, 동일한 category에 존재하면서 다른 object의 경우는 구분하지 못한다. 이를 수행하는 방..

Recurrent Neural Networks input과 output 사이의 관계를 표현해보면 총 5가지의 구조로 다양하다. one to many의 대표적인 예시는 Image Captioning이다. 하나의 이미지를 넣으면 여러개의 단어를 출력해야하는 상황이라고 할 수 있다. many to one의 대표적인 예시는 Sentiment Classification이다. 여러 개의 단어를 주고 감정을 출력하는 상황이라고 할 수 있다. many to many의 대표적인 예시는 Machine Translation이다. 대표적으로 여러 개의 단어를 여러 개의 단어로 변환시키는 상황으로, 다른 언어로 변환하는 상황을 들 수 있다. 위 사진은 맨 마지막 분류에 해당하는 것으로, frame level에서 video cl..

AlexNet First large scale convolutional nerual network이다. 특징은 1. ReLU를 처음 사용하였다. 2. Norm layers를 사용하였다. (지금은 대부분 쓰지 않는다.) 3. 드롭아웃 0.5로 설정 4. batch size 128 5. SGD momentum 0.9 6. Learning rate 1e-2 7. L2 weight decay 5e-4 8. 7개를 앙상블 처리하여 정확도 향상 추가적으로 잘 보면 상하로 2개로 나뉘어있는 것을 볼 수 있는데, 이는 네트워크가 2개의 Network로 분산되었기 때문이다. 즉, 맨 처음 CONV layer를 보면 필터가 96개인데 각 GPU마다 48개씩 절반으로 나누어 연산을 병렬적으로 처리하는 것이다. ZFNet 전..

writing

writing

writing