자연어처리 (NLP)

자연어처리 (NLP)

인간의 자연어를 컴퓨터가 이해·분석·생성하도록 하는 AI 분야로, 텍스트 분류·기계 번역·질의응답·감성 분석 등을 수행하며 Transformer와 LLM이 핵심 기술

특징: 비정형 텍스트 처리, 문맥 이해, 토큰화·임베딩 필수, 사전학습+파인튜닝 패러다임

주요작업: 텍스트분류(감성분석), 기계번역(Seq2Seq), 질의응답(추출형·생성형), 감성분석(긍정·부정), 개체명인식(NER), 문서요약(추출·생성), 텍스트생성(GPT)

핵심기술: Transformer, BERT(양방향 이해), GPT(단방향 생성), RNN(순차처리), 토크나이제이션(BPE·WordPiece), 임베딩(Word2Vec·BERT)

적용사례: 번역(Google Translate), 챗봇(ChatGPT), 검색엔진, 감성분석(리뷰), 음성인식

비교: 규칙기반NLP(사전·패턴) vs 통계기반(TF-IDF·HMM) vs 딥러닝(Transformer·LLM)

연관: Transformer, BERT, GPT, LLM, 토크나이제이션, 임베딩