AI 콘텐츠로 벌금을 물게 되나요? 한국의 최신 기술법 알아야 할 모든 것

[EXPLAINER]

 

한국은 지금 전국을 아우르는 포괄적 인공지능 법률을 시행하는 최초의 나라가 되었다. 이번 조치가 목요일에 발효되면서, 조항의 해석과 적용 방식에 여전히 불확실성이 남아 있다.

법의 정식 명칭은 인공지능 개발 및 신뢰 구축 기본법이며, 2024년 12월 국회에서 제정되었다. 이 법은 인공지능이 생성한 콘텐츠를 규제함으로써 인간의 권리와 존엄을 보호하고, 동시에 정부가 부르는 ‘산업의 건전한 발전’을 촉진하는 것을 목표로 한다.

 

법은 벌칙이 부과되기 전 기업들에게 준비 시간을 주는 1년의 유예 기간을 포함하고 있다.

 

이 움직임은 전 세계 정부들이 AI의 급속한 발전을 규제하기 위해 경쟁하는 가운데 나왔다. 유럽연합은 2024년에 자체 AI 법안을 채택했고, 2024년 8월 1일 발효를 시작했지만, 그 상당 부분은 2027년까지 단계적으로 시행된다.

왜 법이 제정되었나?

 

한국 관계관들은 이 법이 인공지능 분야의 폭발적 성장 속에서 혁신을 촉진하는 동시에 안전장치를 확립하기 위한 균형 잡힌 접근이라고 설명한다. 법은 AI 관련 정책 결정을 위한 원칙을 제시하고, AI 시스템을 개발하거나 배치하는 기업들에 의무를 부과한다.

 

또한 디지털 콘텐츠 조작과 관련된 범죄에 대한 공공의 우려가 커지는 가운데 마련되었다. 전국적 경찰 단속(2024년 11월부터 2025년 10월까지) 동안 사이버 성범죄 사건이 3,411건 기록되었고, 이 중 35.2%가 딥페이크 자료와 관련되어 있었다.

주요 규정의 핵심은?

 

이 법은 인공지능이 생성한 콘텐츠와 이른바 고영향 AI 시스템의 투명성 요구, 위반 시의 제재, 특정 기준을 충족하는 해외 AI 기업이 국내 대리인을 지정하도록 하는 규정을 포함한다.

 

그 마지막 요건은 글로벌 매출이 1조 원, 국내 매출이 100억 원, 또는 한국 내 일일 이용자 수가 평균 100만 명을 넘는 경우에만 해당된다. 실제로 관계 당국은 이 조항이 구글과 오픈AI 같은 소수의 글로벌 기술 기업에만 적용될 가능성이 크다고 인정한다.

 

산업 정책 측면에서 이 법은 AI 연구개발에 대한 정부 지원의 법적 근거를 제공하고, AI의 도입과 상용화를 돕고, 스타트업을 지원하며, 산업 간 AI 융합을 촉진하고, 전문 인재를 양성하며, AI 데이터 센터의 개발을 촉진하는 역할을 한다.

 

다만 주목할 점은, 이 법이 미성년자가 AI 서비스를 이용하는 상황에 대해 구체적으로 보호를 다루지 않는다는 점이다.

AI-generated 콘텐츠를 공개하지 않은 경우 누가 처벌되나?

 

이 법은 최종 사용자보다는 AI 서비스 제공자에 벌칙을 부과한다. 외국 기업이 한국 내 이용자에게 AI 제품이나 서비스를 제공하는 경우도 포함되며, 일반 소비자는 처벌 대상이 아니다.

 

AI 도구의 사용 자체가 책임 소재를 만드는 것은 아니며, 책임은 AI를 개발하고 서비스하는 운영자에게 있다. 개인 소비자나 방송사, 저작권자가 이 도구를 단순히 이용하는 경우까지 책임을 묻지 않는다.

무엇이 투명성 요건에 포함되나?

 

과학기술정보통신부에 따르면, 투명성 의무는 서비스의 환경과 AI 생성물의 유형에 따라 달라진다.

 

서비스 플랫폼 안에서 제공되거나 서비스 사용자 인터페이스 내에서 활용되는 콘텐츠의 경우, 콘텐츠가 AI에 의해 생성되었다는 점을 이용자가 쉽게 인지하도록 해야 하며, 일반 AI 생성물과 딥페이크 콘텐츠 모두 명확하게 구분되어야 한다. 예로는 사용자가 prompts를 입력하는 동안 Gemini 로고가 웹사이트에 보이게 하는 방식이 있다. 게임 플랫폼에서 AI 기반 채팅 서비스를 이용하는 경우에도 서비스 제공자는 응답이 AI에 의해 생성된 것임을 분명히 표시해야 한다. 이 disclosure는 로고나 설명 텍스트, AI 사용에 대한 사전 고지, 또는 출력물에 직접 워터마크를 붙이는 방식으로 이루어질 수 있다.

 

플랫폼 밖으로 배포되는 콘텐츠—다운로드되거나 외부에서 공유될 수 있는 콘텐츠의 경우—투명성 요구는 다르게 적용된다. 일반 AI 생성물은 사용자가 인지할 수 있는 방식으로 표시되거나, 비시각적 방법(오디오 고지나 다운로드 중 표시되는 안내 메시지 등)으로 고지되어야 한다. 예컨대 ChatGPT처럼 AI가 생성한 텍스트 파일을 공유하는 경우, 파일 자체에 서비스의 출처가 명시되거나 메타데이터에 고지가 포함되어 있어야 한다. 비시각적 방법이 사용될 경우, 다운로드 중 파일이 AI에 의해 생성되었다는 텍스트나 음성 알림으로 이용자에게 알리는 방식이 요구된다.

 

딥페이크 콘텐츠가 외부로 배포될 때는 인간이 명확히 인식할 수 있도록 라벨링이 필요하다. 예술적이거나 창작물의 경우 전시나 감상을 방해하지 않는 대안적 방식도 허용된다.

 

딥페이크 콘텐츠의 배포 방식은 매체별로 다르게 적용된다. 예를 들어 오디오 콘텐츠는 시작 부분에 AI 생성 여부를 알리는 고지, 이미지는 눈에 띄는 워터마크를, 비디오는 재생 전체 기간에 걸쳐 워터마크가 지속되도록 해야 한다.

‘고영향 AI’는 무엇으로 보나?

 

법은 사람의 생명, 신체 안전 또는 기본권에 중대한 영향을 미칠 가능성이 큰 시스템을 고영향 AI로 정의한다. 건강관리, 에너지, 식수, 원자력, 형사 수사, 채용, 대출 심사, 교통, 공공 서비스, 교육 등 10개 이상 지정 영역에서 사용되는 시스템에 해당한다.

 

정부가 제시한 예로는 레벨 4 이상의 완전 자율주행 기술이 탑재된 차량 등이 있다.

 

정책 담당 고위 관계자들은 현재의 정의가 인간이 최종 의사결정에 의미 있는 통제권을 가지는 AI 시스템까지 확장하지 않는다고 강조한다. 따라서 현재의 기술 수준에서는 완전 자율주행 기술이나 일부 초대형 AI 모델 같은 시스템만 고영향으로 분류될 가능성이 크며, 대출 승인처럼 인간이 최종 판단을 내리는 보조적 의사결정 도구는 일반적으로 범위 밖으로 남게 된다.

 

기업들의 불확실성을 해소하기 위해 정부는 ‘AI 기본법 지원 창구’ 개설을 계획하고 있다. 이를 통해 어떤 시스템이 고영향에 해당하는지, 규정 준수 의무를 어떻게 이행해야 하는지에 대한 상담과 지침을 제공받을 수 있다.

 

또한 새 법의 제33조에 따라 사업자는 사전에 해당 AI가 고영향 범주에 속하는지 여부를 검토하고, 필요 시 부처의 확인을 요청해야 한다.

고영향 AI 운영자에게 부과되는 의무

 

고영향 AI 시스템의 운영자는 위험 관리 계획을 수립하고 이를 실행해야 하며, 사용자 보호를 위한 조치를 마련해야 한다. 또한 AI 시스템이 어떤 결과를 낳았는지, 이를 생성하는 데 사용된 주요 매개변수, 학습 데이터의 개요를 가능한 한 명확하게 설명할 수 있어야 한다.

 

또한 사람의 감독을 배치하고, 안전성과 신뢰성 확보를 위한 조치를 문서화해 보관해야 하며, 필요 시 정부의 AI 감독 위원회가 정한 추가 요건을 준수해야 한다.

 

정부의 시행 방식은?

 

과학기술정보통신부는 위반 의심이나 신고가 접수되면 사실 확인 조사를 할 수 있다. 문서 제출 요구나 현장 점검 등의 절차가 포함될 수 있으며, 협조를 거부하는 기업은 행정 벌금에 처해질 수 있다.

 

초기 시행 기간의 혼란을 최소화하기 위해 이와 같은 조사는 1년의 유예 기간 동안 보류될 예정이라고 정부는 밝혔다. 그 기간 이후에도 집행은 최소화될 것이며, 인명 피해나 심각한 인권 침해와 같은 극단적 사례에 한정될 가능성이 크다고 한다.

법이 의도대로 작동할 준비가 되었나?

 

법의 시행 방식에 대한 남은 혼란 속에서도 전문가들은 이 체계가 추가적인 다듬기를 필요로 한다고 본다.

 

익명을 원한 한 소식통은 “다수의 수정이 필요하다”면서도, 대통령 직속 국가 AI 전략위원회가 이미 개선안을 제시했다고 말했다. 그 제안에는 운영 단계에서 AI 서비스 운영자의 의무를 일부 완화하고, 실제 사용 방식에 따라 준수 요건을 더 세분화하는 내용이 포함되어 있다.

 

또한 위원회는 고영향 영역으로의 진입을 촉진하기 위한 부처 간 조정 체계를 마련하고, 각 부처가 보유한 기존 법령을 AI 전환에 맞춰 개정하도록 촉구하는 제안을 했다. 개정이 완료되면 과학기술정보통신부가 AI 기본법에 따른 추가 시행령을 검토하여 중복 규제를 제거할 계획이다.

 

산업계의 준비 여부는 아직 미흡하다. 지난달 101개 한국 AI 스타트업 중 단 2%만이 새 법에 대응하기 위한 실질적 준수 시스템을 마련했다고 스타트업 얼라이언스의 보고서는 전한다.

적용될 벌칙은?

 

투명성 요건의 위반, 국내 대리인 지정 의무의 이행 실패, 또는 정부 조사에 대한 비협조는 최대 3천만 원의 행정 벌금으로 이어질 수 있다. 다만 유예 기간 동안에는 벌칙이 부과되지 않는다.