[논문 리뷰] CNN for Sentence Classification, 문장 분류를 CNN으로 시도하다.

 

(논문 title 캡쳐)

 

 

오늘 리뷰할 paper는 Yoon kim님(Newyork University)의 논문 'Convolutional Neural Networkds for Sentece Classification' 이다. 간단한 형태의 CNN을 이용한 문장 분류에서 탁월한 성능을 보여주어 주목을 받았다. LSTM을 공부하다가 Vision쪽에서 쓰이는 CNN이 분류에서 좋은 성능을 보여준다기에 읽게되었다.

 

[Source url: https://arxiv.org/abs/1408.5882 , Cornell University] 

[Github url: https://github.com/yoonkim/CNN_sentence]

 

 

 

1. Summary

NLP 문제( 대표적으론 예측, 단어/문장 분류 )를 해결하기 위해 많은 ML,DL 연구가 있었다. 그러던 중 CNN 모델이 Static word vector를 상태로 튜닝 없이 좋은 성능을 보였다. 이어 'Pre-trained, task-specific' word vector에서도 동작하며, 둘을 동시에 다룰 수 있도록 modificaiton을 하여 성능 향상을 이뤄냈다. 

 

 

NLP 분류 문제를 CNN으로 돌리는 과정은 다음과 같다. 

"The idea is to capture the most important feature—one

with the highest value—for each feature map.

This pooling scheme naturally deals with variable sentence lengths."

 

CNN의 원리는 image에서 특징들을 간추린 다음, max-pooling과 soft-max 과정을 거쳐 확률로 나타내는 것이었다. 이 원리는 NLP에서도 똑같이 적용되었다. word vector를 layer에 통과시켜 word의 특징들을 간추린다. 논문의 저자들은 "one feature is extracted from one filter" 표현을 쓰며, Multiple filters를 통해 Multiple features를 추출했다고 말했다. layer들을 통해 특징들을 추출하고, 마지막 활성화 함수(Soft max)를 통해 가장 중요한 feature를 확률로 나타냈다. 

 

 

 

Experiment

 

실험 model에 대한 설명

 

model 실험 결과

 

Conclusion

1) CNN 모델을 토대로 실험한 결과, One layer 만으로도 좋은 성능을 보였다.

2) 비지도 Pre-trained Word vector가 잘 훈련되어 있는 것이 NLP에서 중요하다는 점을 이끌어냈다.

 

 

 

2. 아쉬운 점

vision 쪽은 공부를 거의 안하다 보니, 해석하고 원리를 따라가기에 바빴다. 만약 기존의 CNN 원리와 배경지식을 알았다면 훨씬 의미있게 논문을 읽고, 더나아가 코드 리뷰까지 진행해볼 수 있었겠다는 아쉬움이 남았다. 

다음에는 좀 더 익숙한 알고리즘을 읽고, 코드까지 리뷰해봐야겠다.