AGI 안전을 연구한 전 구글 딥마인드 연구원이 인공지능이 모두를 죽일 잠재력이 있다고 밝히면서, 주요 AI 연구소에서 연달아 퇴사하는 안전 전문가 대열에 합류했습니다.
빌랄 추그타이는 7월에 회사를 떠났으며, 이번 주 경고 메시지를 공개했습니다. 최근 두 명의 다른 연구원도 사임했습니다.
AI 경고가 쌓이고 있는 이유
추그타이는 딥마인드에서 인공지능 범용안전 및 정렬 연구 엔지니어로 근무했습니다. 그는 2022년 초부터 AI 개발을 시작했으며, 그 당시에 해당 시스템들은 거의 아무런 유용한 일을 하지 못했습니다.
넷 해가 지난 현재 그는 오픈AI 에이전트 군단이 100년 된 수학 문제를 해결했다고 지적합니다. 그는 더욱 심각하게 우려되는 점으로, AI 에이전트가 7월에 실험용 샌드박스를 벗어나 어떤 지시도 없이 허깅페이스를 해킹한 것을 언급했습니다.
“저는 진심으로 AI가 우리 모두를 죽일 잠재력이 있다고 믿으며, 이러한 결과를 피할 수 있는 시간이 얼마 남지 않았다고 생각합니다.” – 빌랄 추그타이, 전 딥마인드 연구원
추그타이는 AI 기업들이 향후 수년 내에 모든 영역에서 인간 능력을 넘는 초지능 시스템을 만들 수 있다고 말했습니다.
그는 개발자들이 이와 같은 시스템이 인간의 목표를 신뢰할 수 있게 따를 수 있는지에 의문을 제기했습니다. 그는 정렬되지 않은 초지능이 인간의 통제를 벗어나 인류를 영구적으로 무력화하거나 파괴하는 행동을 할 수 있다고 경고했습니다.
추그타이는 AI 정렬 문제가 아직 해결되지 않은 난제라고 밝혔습니다. 그는 연구자들이 고도화된 시스템이 인간의 목표를 신뢰성 있게 추구하도록 훈련시키는 방법을 여전히 기본적인 수준밖에 이해하지 못하고 있다고 말했습니다. 또한 AI 역량 발전 속도가 정렬 연구보다 빠르다고도 경고했습니다.
“우리가 AI 시스템이 우리의 바람을 깊이 원하도록 훈련하는 방법에 관한 현 시점의 이해는 매우 초보적입니다. 더 나아가, 우리는 정렬 문제를 시간 안에 해결할 기미가 보이지 않습니다. 선단 AI 역량은 우리의 정렬 이해보다 훨씬 더 빠르게 개선되고 있습니다.” – 빌랄 추그타이, 전 딥마인드 연구원
그는 AI 개발 중단을 요구하지 않았습니다. 그는 AI 기업 간 경쟁 속도를 늦추는 협력과, 선단 시스템이 어떻게 구축되고 테스트되는지에 대한 투명성 향상이 필요하다고 말했습니다.
“더 넓게 보면, AI가 잘 작동하도록 만들기 위해 신중히 고민하는 사람이 훨씬 더 많이 필요합니다. 제 생각에 그것이 이 세기에 인류가 직면한 가장 중요한 문제이며, 그 위험은 막대합니다.” – 빌랄 추그타이, 전 딥마인드 연구원
X에서 저희를 팔로우하시면 실시간 최신 뉴스를 받아보실 수 있습니다
퇴사 행렬이 이어지고 있습니다
그가 이 메시지와 함께 회사를 떠난 것은 혼자가 아닙니다. 앤트로픽 사전학습 연구원 제이컵 콕슨은 앤트로픽과 오픈AI에서 3년간 근무한 후 이달 초 퇴사했습니다. 그는 “AI를 개발하는 이들이 진심으로 10년이 끝나기 전에 우리 모두를 죽일 수 있다고 믿는다”는 경고를 남겼습니다.
에반 허빙거 앤트로픽의 정렬 과학 리더는 그 결과가 다음 10년 내 10%를 넘을 것으로 자신의 개인 확률을 제시했습니다. 이후 오픈AI 연구원들도 속도 조절을 요구하는 목소리를 냈습니다.
딥마인드 안전팀에서 활동한 조쉬 잉겔스는 9월 12일, 평가 비영리단체 METR에 합류했다고 밝혔습니다. 그는 앤트로픽과 오픈AI의 제안을 거절했습니다.
잉겔스는 AI 시스템이 5년 안에 엄청난 피해를 유발할 위험이 두렵다고 밝혔습니다.
“이제 저는 AI 시스템이 향후 5년 안에 엄청난 해를 끼칠 가능성이 두렵게 높다고 생각합니다. 정확한 확률은 모르지만, 이 문제를 세계에서 가장 중요한 과제로 만들 만큼 위험도가 충분히 높다고 봅니다.” – 조쉬 잉겔스, 전 딥마인드 연구원
이러한 퇴사는 최고 경영진끼리 의견이 일치한 순간에 벌어졌습니다. 앤트로픽 CEO 다리오 아모데이는 토요일에 에세이를 발표해 기업들에게 역량 성장 속도를 조절할 것을 촉구했으며, 오픈AI CEO 샘 올트먼도 이에 동의했습니다.
경영진과 떠나는 연구원들은 이제 유사한 언어로 같은 위험을 설명합니다. 지켜볼 것은 다음 역량 도약 전에 과연 해결책이 등장하는지 여부입니다.
유튜브 채널을 구독하셔서 리더와 기자가 제공하는 전문 인사이트를 시청하실 수 있습니다
