스킵 연결과 데이터 증강을 통한 평생 언어 학습 성능 개선

초록

평생 언어 학습은 이전 정보의 망각을 방지하며 연속적으로 태스크를 학습하는 학습법을 의미한다. 그러나 이때 발생하는 시간 지연은 지속적인자원 소모를 일으켜 업데이트 속도를 늦추며 모델의 적응성을 저하시킨다. 본 연구에서는 평생 언어 학습법의 한 종류인 LAMOL(LanguageModeling for LIfelong Language Learning)의 모조 샘플 생성 인코더에 스킵 연결과 데이터 증강을 적용한 SDAL(Skip connection and DataAugmentation beyond LAMOL)을 제안한다. SDAL은 스킵 연결을 통해 모조 샘플 생성 시간을 단축하고 데이터 증강을 통해 학습 정확도를높여, 학습 시간의 효율적 사용과 학습 품질의 향상을 도모한다. SDAL은 스킵 연결을 통해 각 레이어 간의 정보를 신속하게 전달하고 데이터증강으로 추가적인 입력 없이 더 많은 데이터셋을 학습하여 학습 품질을 개선한다. 실험을 통하여 SDAL이 LAMOL 대비 최대 2.3%, 평균 2.0%의학습 시간을 단축하며 최대 5.1%, 평균 2.7%의 정확도를 증가시키고, L2KD 대비 최대 9.1%, 평균 6.0%의 시간을 단축하며 최대 3.3%, 평균1.4%의 성능을 높임을 확인하였다.

키워드