나무모에 미러 (일반/어두운 화면)
최근 수정 시각 : 2023-12-30 16:12:58

BERT


이 문서는 토막글입니다.

토막글 규정을 유의하시기 바랍니다.


BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
<colbgcolor=#646464><colcolor=#fff> 논문 저자 Jacob Devlin
분야 NLP
발표 년도 2018
논문 링크




1. 개요

[clearfix]

1. 개요

BERT는 구글에서 개발한 자연어 처리 모델이다. Transformer 구조에 Encoder를 여러 층 쌓은 모델이다.

학습은 다음 문장 예측(NSP)과 문장의 가려진 단어 예측(MLP)으로 학습된다.

GPT-3와 함께 대표적인 트랜스포머 활용 구조로 알려져 있다.