[세상읽기] 인공지능에서 다루는 두 부류의 위험

김명주 AI 안전연구소장

인공지능을 활용하면 지금까지 불편하고 비효율적이었던 영역을 눈에 띄게 개선할 수 있다. 그런데 활용 영역과 문맥에 따라 독특한 위험이 다르게 수반되기도 한다.

예를 들어 대규모 언어 모델(LLM) 기반의 인공지능을 금융기관 고객상담용으로 활용할 경우 딱딱하고 제한된 규칙 기반의 과거 상담 시스템보다 훨씬 자연스러운 고객 응대가 가능해진다.

반면 근거 없는 답변을 생성하는 할루시네이션 현상이 발생할 경우 고객은 금융기관이 전혀 제공하지 않는 가상의 놀라운 서비스를 듣고 이를 녹취할 수도 있다. 이는 민원 혹은 법적 소송으로 이어질 위험이 있다. 이미 미국 항공사에서 발생한 실제 사례가 존재한다.

인공지능은 활용하는 영역과 문맥에 따라 위험이 서로 다르게 존재할 수 있다. 자율주행차의 경우 예기치 못한 사고 발생에 따른 책임 소재의 불분명함이 존재한다. 이용자의 선호도를 파악한 인공지능의 추천으로 일련의 콘텐츠들이 자동 배정될 경우 이를 시청하는 이용자는 심각한 확증 편향에 빠질 위험이 있다.

그래서 특정 영역 또는 특정 문맥에 인공지능을 활용할 때 어떤 영향을 일으킬지 사전에 평가한 후 그 영향력이 매우 크고 연계된 위험 역시 심각하다고 판단되면 안전성 확보에 필요한 조치가 이뤄지는 것이 바람직하다. 우리나라 인공지능기본법(제2조 4항, 제33∼35조)에 명시된 ‘고영향 인공지능’과 관련된 위험이 바로 이 첫 번째 부류에 해당한다.

챗GPT 같은 최신의 대규모 언어 모델은 이론상 인류가 지금까지 이뤄 놓은 지식을 최대한 수집한 후 이를 학습해 콘텐츠 생성 서비스를 제공한다. 그런데 엄청난 학습 데이터 속에 무엇이 얼마나 들어있는지는 아무도 파악하지 못하고 있다.

더구나 어떤 학습 데이터는 현실 세계에서 접근이 자유롭지 않은 경우도 있다. 원칙적으로 성인물 데이터에 미성년자는 접근할 수 없다. 화학, 바이오, 방사선, 원자핵, 폭발물 같은 대량살상무기 제조 기술에 대한 접근 역시 개인은 물론이고 국가에 따라 매우 제한적이다.

이 경우 첨단 인공지능 자체에 내재된 위험을 미리 파악해 이를 활용하고자 하는 이용자들에게 투명하게 공지하는 것이 무엇보다 중요하다. 특히 일반 인공지능으로의 발전을 앞두고 비상정지가 필요할 정도의 과도한 자율성과 자기 복제의 위험도 추가로 파악해야 한다. 우리나라 인공지능기본법에 명시된 ‘학습에 사용된 누적연산량이 대통령령으로 정하는 기준 이상인 인공지능’에서 다루는 위험이 바로 이 두 번째 부류에 해당한다.

인공지능기본법 제12조에는 인공지능의 위험과 관련된 수행기관을 다음과 같이 명시하고 있다. “인공지능과 관련하여 발생할 수 있는 위험으로부터 국민의 생명, 신체, 재산 등을 보호하고 인공지능사회의 신뢰 기반을 유지하기 위한 상태, 즉 ‘인공지능 안전’을 확보하기 위한 업무를 전문적이고 효율적으로 수행하기 위해 인공지능안전연구소를 운영한다.”

현재 한국의 인공지능안전연구소(Korea AISI)는 특정한 영역과 문맥에 인공지능을 활용할 때의 위험은 물론이고 첨단 인공지능 자체가 가지는 능력 속에 숨겨진 위험을 찾아내 분석·평가하며 이를 완화하는 역할을 본격적으로 수행하고 있다.