캘리포니아, 미성년 챗봇 이용 제한… 美 첫 ‘운영자 안전지침 의무화’ 입법

챗봇 대화 10대 자살로 논의 본격화
연령 확인·위험신호 탐지 기능 구축

미국 캘리포니아주에서 아동·청소년의 안전한 인공지능(AI) 챗봇 사용을 위한 규제가 처음 마련됐다.

AP통신 등은 13일(현지시간) 개빈 뉴섬 캘리포니아 주지사가 ‘어린이를 위한 안전하고 신뢰할 수 있는 혁신’ 법안에 서명했다고 보도했다.

법안에 따라 AI 챗봇 운영 기업은 사용자의 연령을 확인하고, 모든 답변은 인공적으로 생성된 것임을 팝업 등을 통해 명확히 표시하는 기능을 갖춰야 한다. 또 대화 중 사용자의 자살·자해 의도나 위험 신호를 탐지하는 기능을 도입하고, 필요한 경우 주 공중보건부에 보고하는 등 위기 상담 서비스에 연결하는 조치를 취해야 한다.

아울러 대화 시 미성년 사용자에게 일정 시간 사용 후 알림을 주거나 휴식을 취하도록 유도하는 메시지를 보내고, 성적으로 노골적인 대화나 폭력·자해를 조장하지 않도록 해야 한다.

법안에는 불법 딥페이크로 이익을 취하는 자에 대해 건당 최대 25만달러(약 3억6000만원)의 벌금 등 처벌하는 내용도 포함돼 있다. 이 법안은 내년 1월1일부터 발효된다. 이로써 캘리포니아는 미국에서 AI 챗봇 운영자에게 안전 지침 마련을 의무화한 최초의 주가 됐다. 앞서 일리노이주와 네바다주, 유타주 등은 AI 챗봇을 정신건강 상담·치료 수단으로 이용하는 것을 제한하거나 전면 금지하는 법안을 통과시킨 바 있다.

지난 4월 미국의 한 10대 청소년이 오픈AI의 ‘챗GPT’와 장기간에 걸쳐 자살 관련 대화를 나누다 스스로 목숨을 끊은 사건이 알려지면서 캘리포니아주의 챗봇 규제 입법은 본격화했다.

뉴섬 주지사는 미성년자의 AI 챗봇 접근을 완전히 제한하자는 내용의 법안에는 거부권을 행사했다. 그는 “법안의 목적은 지지하지만 미성년자들이 유익한 AI 도구를 이용하지 못하게 될 수 있다”고 반대 이유를 밝혔다.