정보이론 / 샤논 정리 (Information Theory)

정보이론 / 샤논 정리 (Information Theory)

정보의 정량적 측정/저장/전송의 근본적 한계를 수학적으로 규명하는 이론, 섀넌(1948) 창시 (125회 출제)

특징: 확률론 기반, 정보량은 확률에만 의존(의미 무관), 통신/압축/암호학 통합 프레임워크

핵심 개념

• •정보량: I(x) = -log₂ p(x), 낮은 확률 → 높은 정보량
• •엔트로피: H(X) = -Σ p(x) log₂ p(x), 평균 정보량/불확실성 척도, 균일분포 시 최대
• •채널 용량(Shannon-Hartley): C = B log₂(1 + S/N), 잡음 채널의 최대 전송률
• •나이퀴스트(무잡음): C = 2B log₂ M

핵심 정리

• •소스 코딩 정리: 무손실 압축 한계 = 엔트로피 H(X), 허프만/산술/LZ 코딩
• •채널 코딩 정리: R < C이면 오류 확률 → 0 가능, R > C이면 불가능

상호 정보량: I(X;Y) = H(X) - H(X|Y), 채널 용량 C = max I(X;Y)

통신 시스템: 소스 → 소스부호화(압축) → 채널부호화(FEC) → 변조 → 채널 → 복조/복호

적용사례: 데이터 압축(ZIP/JPEG), 오류 정정(터보/LDPC/Polar), 암호학(엔트로피 기반 키 강도), ML(교차 엔트로피)

비교: 나이퀴스트(무잡음/C=2Blog₂M/심볼률 상한) vs 샤논(잡음/C=Blog₂(1+S/N)/전송률 절대 상한)

연관: 변조 방식, FEC, 데이터 압축, 엔트로피 코딩, 5G NR, 암호학