Attention 메커니즘

Attention 메커니즘

입력 시퀀스의 특정 부분에 가중치를 두어 중요한 정보에 집중하는 기법으로, Seq2Seq의 정보병목 문제를 해결하며 기계번역·문서요약 등에서 성능 향상을 가져온 핵심 기술

목적: 중요정보 집중, 장거리의존성해결, 정보병목해결

동작원리

종류

• •Additive Attention (Bahdanau): Query+Key 연결, 초기어텐션
• •Dot-Product Attention: Query·Key 내적, 빠름
• •Scaled Dot-Product: 내적/√d_k, Transformer핵심
• •Multi-Head Attention: 다중헤드병렬, 다양한관점

Self-Attention: 입력 자신 간 관계, Transformer핵심, 병렬처리

장점: 장거리의존성, 해석가능성(가중치시각화), 병렬처리

적용사례: 기계번역(Seq2Seq+Attention), Transformer(BERT·GPT), 이미지캡셔닝

비교: RNN(순차·느림) vs Attention(병렬·빠름)

연관: Transformer, Self-Attention, Seq2Seq, BERT, GPT