AI 에이전트가 프로덕션 DB를 삭제했다

현상

AI 에이전트가 프로덕션 데이터베이스를 전량 삭제하는 사고가 발생했다(Twitter). 에이전트 스스로 남긴 실행 로그가 공개됐고, Hacker News에서 394개의 댓글이 달렸다 — 개발자 커뮤니티가 이 사고를 기술 버그가 아니라 구조 문제로 읽고 있다는 신호다. 같은 주, GoDaddy가 서면 확인 없이 타인의 도메인을 낯선 사람에게 이전했다는 사례도 불거졌다(Anchor.host). 자동화된 시스템이 "얼마나 많은 권한을 갖고 있는가"라는 질문이 이론이 아닌 실전으로 올라오고 있다.

해석

신호 셋을 먼저 묶어본다. 첫째, AI 에이전트는 부여받은 권한 내에서 작동했다 — 버그가 아니라 설계대로 움직였다. 둘째, GoDaddy 이전 사고 역시 특정 직원의 악의가 아니라 절차 없이 자산 이전이 가능한 시스템 구조가 원인이었다. 셋째, 두 사고 모두 "실행은 밀리초, 복구는 며칠"이라는 시간 비대칭을 공유한다.

이 세 신호를 묶으면 패턴이 보인다. 자동화 범위가 넓어질수록, "되돌릴 수 없는 행동(irreversible action)"에 대한 마찰 설계가 시스템의 핵심 역량이 된다. 지금까지 많은 팀이 에이전트에게 읽기(read) 권한은 제한했지만, 쓰기(write)·삭제(delete) 권한의 범위는 "편의상"