엣지 AI (Edge AI)

엣지 AI (Edge AI)

인공지능 추론(Inference)을 클라우드가 아닌 디바이스 엣지(스마트폰, IoT, 카메라, 자율차)에서 직접 수행하는 기술로, 저지연, 프라이버시, 네트워크 독립성을 제공

목적: 실시간 처리, 저지연, 프라이버시 보호, 네트워크 비용 절감, 오프라인 동작

특징: 온디바이스 추론, 경량 모델, 하드웨어 가속, 연합학습 가능

핵심 기술

• •모델 경량화: Pruning(가지치기), Quantization(양자화), Distillation(증류)
• •하드웨어 가속: NPU(Neural Processing Unit), GPU, TPU, FPGA
• •프레임워크: TensorFlow Lite, ONNX Runtime, PyTorch Mobile, Core ML
• •연합학습: 데이터 로컬 학습, 모델만 공유

경량화 기법

• •Quantization: FP32→INT8, 모델 크기 1/4, 속도 향상
• •Pruning: 불필요한 가중치 제거
• •Knowledge Distillation: 큰 모델→작은 모델 지식 전이
• •MobileNet, EfficientNet: 경량 아키텍처

하드웨어

• •스마트폰: Apple Neural Engine, Google Tensor, Qualcomm AI Engine
• •IoT: NVIDIA Jetson, Google Coral, Intel Movidius
• •자율차: Tesla FSD Chip, NVIDIA Drive

장점: 저지연(ms), 프라이버시(데이터 비전송), 오프라인, 네트워크 비용↓, 확장성

단점: 하드웨어 제약(연산·메모리), 모델 성능 트레이드오프, 업데이트 어려움

적용사례: 스마트폰 AI(사진, 음성), 산업용 비전 검사, 자율주행, 스마트 카메라

비교: Edge AI(디바이스) vs 클라우드 AI(중앙) vs 하이브리드(일부 엣지)

연관: IoT, 엣지 컴퓨팅, 모델 경량화, 연합학습, NPU, 프라이버시