Recurrent Neural Networks input과 output 사이의 관계를 표현해보면 총 5가지의 구조로 다양하다. one to many의 대표적인 예시는 Image Captioning이다. 하나의 이미지를 넣으면 여러개의 단어를 출력해야하는 상황이라고 할 수 있다. many to one의 대표적인 예시는 Sentiment Classification이다. 여러 개의 단어를 주고 감정을 출력하는 상황이라고 할 수 있다. many to many의 대표적인 예시는 Machine Translation이다. 대표적으로 여러 개의 단어를 여러 개의 단어로 변환시키는 상황으로, 다른 언어로 변환하는 상황을 들 수 있다. 위 사진은 맨 마지막 분류에 해당하는 것으로, frame level에서 video cl..

AlexNet First large scale convolutional nerual network이다. 특징은 1. ReLU를 처음 사용하였다. 2. Norm layers를 사용하였다. (지금은 대부분 쓰지 않는다.) 3. 드롭아웃 0.5로 설정 4. batch size 128 5. SGD momentum 0.9 6. Learning rate 1e-2 7. L2 weight decay 5e-4 8. 7개를 앙상블 처리하여 정확도 향상 추가적으로 잘 보면 상하로 2개로 나뉘어있는 것을 볼 수 있는데, 이는 네트워크가 2개의 Network로 분산되었기 때문이다. 즉, 맨 처음 CONV layer를 보면 필터가 96개인데 각 GPU마다 48개씩 절반으로 나누어 연산을 병렬적으로 처리하는 것이다. ZFNet 전..

writing

writing

writing

writing

writing

https://reniew.github.io/13/