법무법인(유) 화우

2024년 12월 26일 국회를 통과한 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」(이하 “AI기본법”)이 2026년 1월 22일 시행을 앞두고 있는 가운데, 핵심적인 하위규범들이 점차 마련되고 있습니다. 특히 과학기술정보통신부(이하 “과기정통부”)는 고영향 AI 사업자의 구체적인 의무사항을 명시한 '사업자 책무 고시'(이하 “고시”)와 이를 상세히 설명하는 ‘고영향 인공지능 사업자 책무 가이드라인’(이하 “가이드라인”)을 발표하여, AI 사업자들이 실질적으로 준수해야 할 규제 체계가 본격화되고 있습니다.

이번 고시와 가이드라인은 단순한 규제가 아닌 AI 기술의 안전성과 신뢰성을 확보하면서도 혁신을 저해하지 않는 균형점을 찾기 위한 정부의 노력으로 평가됩니다. 고영향 AI를 개발하거나 이용하는 사업자들에게는 위험관리체계 구축부터 설명가능성 확보, 이용자 보호에 이르기까지 포괄적인 책무가 부여되어, AI 시대의 새로운 거버넌스 패러다임이 시작되고 있습니다.

본 뉴스레터에서는 고영향 인공지능 사업자 책무에 관한 고시 및 가이드라인의 구체적인 내용과 해당 책무가 인공지능사업자에게 미치는 영향이 무엇인지 살펴봅니다.

1. 배경

2. 고영향 인공지능 사업자 책무 고시 및 가이드라인의 주요 내용

3. 시사점

1. 배경

AI 기본법에서 고영향 AI의 범위는 에너지 공급, 먹는 물 생산공정, 공공서비스 제공 의사결정 등 10개 영역으로 정의되어 있으며, 고영향 AI 사업자의 책무는 ① 위험관리방안의 수립·운영, ② 기술적으로 가능한 범위에서의 인공지능이 도출한 최종결과, 인공지능의 최종결과 도출에 활용된 주요 기준, 인공지능의 개발·활용에 사용된 학습용 데이터의 개요 등에 대한 설명방안의 수립·시행, ③ 이용자 보호 방안의 수립·운영, ④ 고영향 인공지능에 대한 사람의 관리·감독, ⑤ 안전성·신뢰성 확보를 위한 조치의 내용을 확인할 수 있는 문서의 작성과 보관, ⑥ 그 밖에 고영향 인공지능의 안전성·신뢰성 확보를 위하여 위원회에서 심의·의결된 사항으로 정의되어 있습니다(AI 기본법 제36조 제1항 각호). 이는 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 AI 시스템의 특성을 고려한 것입니다.

과기정통부는 이러한 고영향 인공지능 사업자들의 책무를 이행하기 위한 구체적인 기준과 절차를 담은 고시를 마련하고, 이를 보다 상세히 설명하는 가이드라인을 발표했습니다.

2. 고영향 인공지능 사업자 책무 고시 및 가이드라인의 주요 내용

가. 위험관리방안의 수립·운영

고영향 AI 사업자는 고영향 AI의 위험관리를 위해 ① 위험관리정책 수립 및 이행, ② 위험관리 조직체계 수립 및 운영을 포함한 위험관리방안을 수립·운영해야 하고(사업자 책무 고시 제4조 제1항 각호), 해당 위험관리방안을 문서로 작성·관리해야 합니다(사업자 책무 고시 제4조 제2항).

가이드라인에서는 위험관리 계획 수립부터 위험 식별, 분석 및 평가, 위험 처리, 위험관리정책 개선에 이르는 체계적 프로세스를 제시하고 있습니다. 또한 각 단계에서 필요한 자가점검 체크리스트를 제공하여 사업자가 책무를 잘 이행하고 있음을 스스로 점검할 수 있습니다.

<가이드라인 1-1-3. 위험 분석 및 평가 자가점검 체크리스트 예시>

또한 가이드라인은 사업자 책무 고시 제4조 제1항 제2호에 따른 위험관리 조직에 관하여, 사업자 규모를 고려하여 겸임 인력 지정이나 별도 조직 구성이 가능하지만, 기술·법률·윤리 등 다양한 분야의 전문가로 구성하되 이해상충 방지를 위한 독립성 확보가 중요함을 기술하고 있습니다.

나. 설명 방안의 수립·시행

사업자는 기술적으로 가능한 범위에서 AI의 최종결과와 학습데이터의 투명성 및 설명가능성을 확보해야 합니다(사업자 책무 고시 제5조 제1항 및 제2항). 가이드라인은 이를 ① 투명성 및 설명가능성 확보, ② 학습용데이터 개요 관리, ③ 설명 방안의 수립 및 시행의 3단계로 구체화했습니다.

특히 학습용데이터 개요 관리에서는 데이터의 형식, 수량, 크기, 수집 및 전처리 방식 등을 체계적으로 문서화하도록 요구하고 있습니다.

설명 방안 시행에서는 이용자 요청사항 파악부터 설명자료 작성 및 검토, 설명 방안 선정, 전달, 개선에 이르는 5단계 절차를 제시하여 실무 적용 가능성을 높였습니다.

다. 이용자 보호방안의 수립·운영

고영향 인공지능의 개발 단계에서는 ① 안전하고 적법한 데이터 수집 및 관리, ② 적대적 공격 등에 대응하기 위한 안전한 알고리즘 설계 및 모델 개발, ③ 다양하고 예외적 상황을 고려한 시험 및 평가가 요구됩니다(사업자 책무 고시 제6조 제1항 각호).

가이드라인은 인공지능 모델 공격 방어를 위한 구체적 기법들을 제시합니다. Defensive Distillation(복잡한 신경망의 지식을 간단한 신경망으로 전이)을 이용한 적대적 공격 대응, Gradient Regularization(모델의 경사를 일관된 형태로 유지)을 통해 모델의 경사 노출 방지, Stochastic Network(확률적 요소 도입을 통한 저항성 향상) 등 실제 적용 가능한 방어 대책을 상세히 설명하고 있습니다.

고영향 인공지능의 운영 단계에서는 ① 실시간 모니터링 및 대응방안 수립, ② 이용자 의견 수렴 및 지속적 개선, ③ 이용자 권리 보장 및 피해 발생 시 보상방안 수립이 필요하며(사업자 책무 고시 제6조 제2항 각호), 가이드라인은 모니터링 단계에서 활용할 수 있는 AIOps(Artificial Intelligence for IT Operations) 등 구체적 모니터링 기술 방안을 제시합니다.

라. 사람의 관리·감독

고영향 인공지능 사업자는 인공지능 개발 과정에서 ① 사람이 AI 동작에 개입할 수 있는 기준 확립, ② 긴급 정지 기능 등의 개입 방법 마련이 필요하며(사업자 책무 고시 제7조 제1항 각호), 운영 중에는 ① 성능저하 및 오류 발생에 대한 정기적 점검계획 및 방안 마련, ② AI의 범위 및 수행능력에 대한 이해도 향상을 위한 교육 및 훈련 제공이 요구됩니다(사업자 책무 고시 제7조 제2항 각호).

가이드라인은 Human-in-the-loop(인공지능이 의사결정을 보조), Human-out-of-the-loop(인공지능이 독립적으로 의사결정), Human-over-the-loop(인공지능 결과를 사람이 모니터링) 등 위험도에 따른 사람 개입 정도를 체계적으로 분류하여 제시하고 있으며, 특히 Amazon의 Human-in-the-Loop 절차나 LinkedIn의 AlerTiger 시스템 등 실제 운영 사례를 통해 사람의 관리·감독이 어떻게 구현되는지 구체적으로 설명하고 있습니다.

마. 문서의 작성·보관 및 자가점검 체계

고영향 인공지능 사업자는 위 모든 조치사항을 문서로 작성·관리해야 하며(사업자 책무 고시 제8조 제1항), 주기적 점검을 통해 최신 기술·방법론이 적용되도록 관리해야 합니다(고시 제8조 제2항).

가이드라인은 각 책무사항별로 자가점검 항목을 제공하여 사업자들이 스스로 이행 여부를 점검할 수 있도록 했습니다.

3. 시사점

가. AI 거버넌스 체계의 글로벌 정합성 확보

이번 고시와 가이드라인의 가장 큰 특징은 추상적 원칙에 머물지 않고 실무 적용 가능한 구체적 방안을 제시했다는 점입니다. 가이드라인은 상세한 설명, 다양한 실제 사례, 자가점검 체크리스트 등을 통해 AI 사업자들이 각 책무를 어떻게 이행해야 하는지를 명확히 안내하고 있습니다.

AI 기본법 시행령은 개발사업자와 이용사업자의 역할을 구분하고, 개발사업자가 조치를 모두 또는 일부 이행한 경우 이용사업자의 부담을 경감하도록 한 규정을 두고 있는데(시행령 제26조 제2항), 이는 AI 밸류체인의 복잡성을 고려한 현실적 접근으로 평가되고 있습니다. 이번 고시와 가이드라인 또한 개발사업자와 이용사업자의 책임 분담을 명확히 하여 불필요한 중복 규제를 방지하는 효과가 클 것으로 기대됩니다.

이번 가이드라인은 TTA 안내서, NIST AI RMF, EU AI Act 등 국제적 규범을 체계적으로 참조하여 제정된 점에서 전략적 의의가 큽니다. 특히 EU AI Act와 유사한 위험 기반 접근법을 채택함으로써, 국내 기업들이 유럽 시장에 진출할 때 규제 적응 부담을 줄일 수 있을 것으로 보입니다. 다만 국제 표준과의 정합성 확보가 국내 AI 생태계의 특수성을 충분히 반영하지 못할 수 있다는 점, 특히 중소기업에게는 글로벌 수준의 거버넌스 체계 구축이 상당한 부담으로 작용할 수 있다는 점은 우려로 지적됩니다.

나. 설명가능성과 투명성 확보의 기술적·법적 도전

가이드라인이 ‘기술적으로 가능한 범위에서의’ 설명방안 수립을 요구한 점은 현실적이지만 동시에 해석상 모호함을 내포합니다. 특히 대형 언어모델(LLM)이나 딥러닝 모델의 경우 설명가능성 확보가 기술적으로 매우 어려운 상황에서, 어느 정도까지를 '기술적으로 가능한 범위'로 볼 것인지에 대한 기준이 필요합니다.

학습용데이터 개요 제공 의무는 AI 모델의 투명성을 높이는 긍정적 효과가 있으나, 기업의 영업비밀 보호라는 관계에서 균형점 찾기가 중요한 과제입니다.

다. 위험관리 조직의 독립성과 전문성 확보 과제

가이드라인은 위험관리 조직이 AI 기획·개발 업무와 분리되어야 하며, 이해상충 방지를 위한 조직적·기능적 독립성 확보가 필요하다고 명시합니다. 이는 해외 주요 기업들의 AI 안전 조직 운영 사례(OpenAI의 Preparedness Team, Google의 AI Safety & Alignment Team 등)와 일치하는 방향입니다.

그러나 국내 AI 기업, 특히 스타트업의 경우 독립적인 위험관리 조직 구성이 현실적으로 어려울 수 있습니다. 가이드라인이 겸임 인력 지정을 허용한 것은 현실적 배려이지만, 실질적인 독립성과 전문성을 어떻게 확보할 것인지는 여전히 과제로 남습니다.

라. 컴플라이언스 비용과 혁신 동력 간의 균형

이번 규제 체계는 AI 사업자들에게 상당한 컴플라이언스 비용을 발생시킬 것으로 예상됩니다. 위험관리 조직 운영, 정기적 감사 및 점검, 광범위한 문서화 작업, 이용자 보호 시스템 구축 등에 필요한 인력과 자원이 만만치 않기 때문입니다.

특히 가이드라인에서 제시하는 다양한 기술적 방어책(Defensive Distillation, Gradient Regularization 등)이나 모니터링 시스템(AIOps) 도입은 상당한 기술적 투자를 요구합니다. 이러한 규제 부담이 혁신 활동을 위축시키지 않도록 정책적 배려가 필요합니다.

마치면서

AI 사업자들은 2026년 1월 AI 기본법의 시행을 대비하여 단계적인 준비를 할 필요가 있습니다. 우선 현재 개발·운영 중인 AI 시스템이 고영향 AI에 해당하는지 면밀히 검토하고, 해당 시 가이드라인에서 제시하는 자가점검 항목을 활용해 현황을 진단해야 합니다. 특히 가이드라인에서 제시하는 구체적 사례들(카카오 그룹의 AI 윤리 가이드라인 개정, 네이버 AI 스피커 프라이버시 정책 등)을 참조하여 자사 상황에 맞는 거버넌스 체계를 설계하는 것이 중요합니다. 또한 가이드라인은 기술 발전에 맞춰 지속적으로 업데이트될 것으로 예상되므로, 관련 동향을 지속적으로 모니터링하고 내부 시스템을 유연하게 조정할 수 있는 체계를 구축해야 합니다.

마지막으로, 이번 규제를 단순한 부담이 아닌 AI 기술의 신뢰성과 경쟁력 확보의 기회로 활용하는 전략적 접근이 필요합니다. 체계적인 위험관리와 투명성 확보는 단기적으로는 비용이지만, 장기적으로는 AI 서비스의 신뢰도를 높이고 시장에서의 경쟁 우위를 확보하는 핵심 요소가 될 것입니다.

화우 AI센터는 인공지능 산업에 전문성을 가진 전문가 및 유관기관에서 다양한 실무경험을 쌓은 전문인력으로 구성되어 있습니다. 인공지능 분야에 관한 모든 법률 문제에 신속하게 대응할 수 있도록 이슈를 선제적으로 안내하고, 그에 따른 적시 도움을 드리겠습니다. 이와 관련하여 문의사항이 있으신 경우 언제든지 연락하여 주시기 바랍니다.