AI Red Teaming (AI 보안 평가)

AI Red Teaming (AI 보안 평가)

AI 시스템의 보안 취약점, 편향, 오용 가능성을 사전에 식별하기 위해 적대적 관점에서 체계적으로 테스트하는 보안 평가 활동

목적: AI 취약점 선제 발견, 안전성 검증, 규제 준수(EU AI Act 적대적 테스트 의무), 신뢰성 확보

테스트 유형

• •Prompt Injection: 시스템 프롬프트 우회, 지시 무시 유도
• •Jailbreaking: 안전 가드레일 우회, 유해 콘텐츠 생성 유도
• •데이터 추출: 학습 데이터/개인정보 유출 시도
• •편향 탐색: 차별적 응답, 유해 스테레오타입 유발
• •환각 유도: 허위 정보 생성, 사실 왜곡

방법론: 자동화 테스트(fuzzing/스크립트) + 수동 테스트(전문가 창의적 공격) + 커뮤니티 버그바운티

레드팀 구성: 보안 전문가, 도메인 전문가, 윤리 전문가, 다양한 배경(편향 탐지)

비교: AI Red Teaming(AI 특화/프롬프트/편향) vs 전통 Red Teaming(인프라/네트워크/침투)

연관: OWASP LLM Top 10, AI 윤리, EU AI Act, 프롬프트 엔지니어링, AI TRiSM