| BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding | |
| <colbgcolor=#646464><colcolor=#fff> 논문 저자 | Jacob Devlin |
| 분야 | NLP |
| 발표 년도 | 2018 |
| 논문 링크 | |
1. 개요
BERT는 구글에서 개발한 자연어 처리 모델이다. Transformer 구조에 Encoder를 여러 층 쌓은 모델이다.학습은 다음 문장 예측(Next Sentence Prediction (NSP))과 문장의 가려진 단어 예측(Masked Language Modeling (MLM))으로 학습된다.
GPT와 함께 대표적인 트랜스포머 활용 구조로 알려져 있다.
흔히 비교되는 GPT와는 구조적 지향점이 다르다. GPT가 이전 단어들을 바탕으로 다음 단어를 생성하는 디코더(Decoder) 중심의 생성 모델(Generative)이라면, BERT는 문장 속 단어들 사이의 관계를 파악하는 인코더(Encoder) 중심의 이해 모델(Understanding)이다. 이로 인해 BERT는 챗봇과 같은 문장 생성보다는 텍스트 분류, 질문에 대한 답 찾기, 문장 간 유사도 측정 등에서 특히 강점을 보인다. 이러한 성능은 문맥을 좌우 양방향(Bidirectional)으로 동시에 파악하는 구조적 특징 덕분이며, 기존 모델들이 가졌던 단방향 처리의 한계를 혁신적으로 극복했다는 평가를 받는다. 발표 당시 NLP 분야의 주요 벤치마크 기록을 모두 갈아치우며 자연어 처리의 패러다임을 '사전 학습 후 미세 조정(Fine-tuning)' 방식으로 완전히 전환시킨 기념비적인 모델이다.
2. 활용
- 다크버트(DarkBERT)는 BERT 기반 구조를 활용해 다크웹 데이터를 이해하고 분석하는 데 특화된 언어 모델로, 특정 도메인에 맞춘 BERT 응용 사례 중 하나라 할 수 있다. ‘Dark’라는 명칭은 해당 모델이 다크웹 환경을 중심으로 학습되었음을 의미한다.
- 구글 검색 엔진 도입: 2019년 10월부터 구글 검색 알고리즘에 전면 도입되었다. 기존의 키워드 매칭 방식에서 벗어나, 검색어 전체의 문맥을 파악해 사용자의 의도에 훨씬 가까운 검색 결과를 제공하게 된 결정적 계기가 되었다.