[호주] AI 환각 문제의 효율적 대응을 위한 'AI in Government 2.0' 체제 전환
- 소속기관
- 작성자
- 차우영
- 작성일
- 2026-03-24
[호주] AI 환각 문제의 효율적 대응을 위한 'AI in Government 2.0' 체제 전환
- 'AI in Government 2.0' 체제 개요
▫ 정의: 생성형 AI의 기술적 한계인 환각 현상을 제어하고, 공공 행정의 정확성과 투명성을 보장하기 위해 설계된 차세대 AI 거버넌스 체계
▫ AI 2.0 전환: 단순한 기술 도입 및 실험 단계(1.0)를 넘어,
'책임감 있는 AI 사용(Responsible use of AI)‘을 행정 표준으로 정착시키는 실무 적용 단계로의 진입 의미
▫ 실시 시기:
- 표준 수립: 2025년 12월 (호주 DTA 등 주요 선진국 기준 v2.0 공식 시행)
- 의무화 추진: 2026년 6월(단계적 시행) ~ 12월(전면 적용)을 기점으로 주요 공공기관 내 AI 영향 평가 및 거버넌스 수립 완료 예정
- 도입 배경
▫ 기술적 신뢰도 위기: LLM의 확률적 답변 생성 방식으로 인해 법령, 통계, 출처 등을 허위로 생성하는 사례가 빈번해지며 행정 데이터의 무결성 위협
▫ 정부 유관 프로젝트 내 AI Hallucination(AI 환각) 발생 사례:
사례 1. 호주 고용노동관계부(DEWR) 복지 시스템 검토 보고서 오류 (2025):
- Deloitte가 제출한 44만 호주 달러 규모 보고서에서 존재하지 않는 대학교수의 저서, 가공의 연구 논문,
조작된 연방법원 판결문 및 판사 인용구 발견 → 보고서 재작성 및 용역비 일부 환불 사태 발생
사례 2. 호주 상원 위원회(Senate Inquiry) AI 환각 의견서 제출 (2023~24):
AI가 생성한 조작된 학술 근거를 포함한 의견서가 정부 조사위원회에 제출되어 정책 결정 과정의 취약성 노출
※ 학계 전문가 그룹이 상원 위원회에 AI가 생성한 가짜 비리 사례(KPMG가 존재하지 않는 스캔들에 연루됐다는 내용)가 포함된 의견서 제출
-> KPMG가 공식 항의하며 사태 확산
▫ 규제 환경의 변화: AI 생성물에 대한 법적 책임 소재 명확화 요구 및 공공 부문 '설명 가능한 AI(Explainable AI: XAI)' 도입의 필수화
- 주요 내용
1. 기술적 통제 기제(Guardrails) 고도화
▫ RAG(Retrieval-Augmented Generation 검색 증강 생성) 기반 행정 서비스:
AI가 학습된 내부 데이터와 신뢰할 수 있는 법령 DB를 실시간 참조하여 답변의 근거를 확보하도록 설계
※ 검색 증강 생성 (Retrieval-augmented generation, RAG ): LLM이 답변을 만들기 전에 외부 지식 소스에서 관련 정보를 검색해
그 결과를 활용하는 방식으로, 이를 통해 학습 컷오프 이후 정보, 특화 지식, 환각(할루시네이션) 문제를 완화하고,
최신성·정확도·출처 제시를 강화할 수 있음
▫ 그라운딩(Grounding 인공지능 출력의 사실성 확보) 및 출처 자동 표기:
답변의 근거가 되는 원문 문서와 페이지를 반드시 병기함으로써 공무원이 즉시 사실관계를 대조(Cross-check)할 수 있도록 구현
▫ 할루시네이션(환각) 스코어링 도입:
AI 사용 답변의 정확도를 자동으로 수치화하여 일정 점수 미달 시 공무원에게 경고 알림을 제공하는 필터링 시스템 운영
2. 제도적 신뢰 보장 및 책무성 강화
▫ Human-in-the-Loop(HITL) 의무화:
AI 결과물을 대외적으로 공표하거나 정책에 반영하기 전, 담당 공무원의 확정적 검토 및 서명 절차를 법제화
※ 휴먼인더루프(Human-in-the-loop, HITL): 인간이 자동화 시스템의 운영, 감독, 의사 결정에 적극적으로 참여하는 시스템 또는 프로세스
▫ AI 영향 평가(AI Impact Assessment)제 의무화:
공공 AI 도입 전, 환각 발생 가능성과 사회적 영향을 사전 평가하여 위험 등급별 관리 대책 수립
▫ 공무원 최종 승인제(HITL) 강화:
AI가 생성한 민원 답변이나 정책 초안은 반드시 담당 공무원의 최종 검토 및 서명을 거친 후 외부로 송출하도록 절차화
▫ 레드팀(Red Teaming) 상시화:
의도적으로 오답을 유도하여 시스템의 약점을 찾는 전문 검증 조직을 통해 환각 현상에 대한 면역력 강화
※ 레드팀(Red Teaming) : 내부 체계의 취약점을 찾기 위해 해당 체계를 공격적으로 평가하고 시험하는 조직으로
AI 모델의 잠재적 취약성과 편향성을 테스트하여 대규모 언어 모델의 신뢰성과 성능을 보장하는 프로세스
▫ 알고리즘 투명성 및 공개:
사용된 AI 모델의 종류(예: Azure OpenAI GPT-4o 등)와 학습 데이터 범위를 국민에게 투명하게 공개
3. 행정 인프라 고도화
▫ 정부 전용 sLLM(소형 거대언어모델) 구축:
행정 전문 용어와 보안 데이터에 특화된 경량 모델을 통해 범용 모델 대비 환각 발생률 80% 이상 감소 목표
▫ 디지털 트러스트 마크 부여:
환각 방지 기술 및 보안 기준을 통과한 공공 AI 솔루션에 대해 정부 인증 마크를 부여하여 기술 표준 선도
▫ 데이터 정제 및 표준화:
AI가 참조할 공공 데이터의 정확도를 높이기 위한 '데이터 클렌징' 사업을 AI 2.0의 선결 과제로 추진
[참조]
호주 디지털전환청(DTA) - 정부의 책임 있는 AI 사용 정책 v2.0 (2025.12)
https://www.digital.gov.au/ai/ai-in-government-policy
호주 보건부 - AI 투명성 성명 및 활용 가이드라인 (2026.02)
https://www.health.gov.au/about-us/corporate-reporting/our-commitments/ai-transparency-statement