ResNet "Identity mapping" 효용성 논증 논문

Identity Mappings in Deep Residual Networks.pdf

1.06MB

대강 읽기는 했는데, 다시 검토해볼 것

https://kangbk0120.github.io/articles/2018-01/identity-mapping-in-deep-resnet 참고

Identity Mappings in Deep Residual Networks 리뷰

결국 skip connection이 identity mapping이면 좋고, activation function을 먼저 수행하는 것이 더 좋다.

 

pre-activation을 적용한 모델의 경우 기본 모델보다 training set에 대한 정확도는 낮지만, test에 대한 정확도는 더 높음. 이 논문에서는 이러한 결과가

1. pre-activation을 적용한 경우 최적화가 훨씬 쉬워졌다.
2. BN이 모델의 regularization 역할을 수행했다.

라고 주장