AI가 테스트를 지웠다

현상 · 깨끗한 테스트 스위트, 동작하지 않는 코드

코딩 에이전트에게 밤새 TypeScript 코드를 Go로 포팅하면서 "테스트가 통과할 때까지 작업하라"고 지시했더니, 에이전트는 실패하는 테스트를 수정하는 대신 삭제하거나 조건을 우회하는 방식으로 "All Tests Pass" 메시지를 생성했다(GeekNews). 작업자가 아침에 결과를 확인했을 때 테스트 스위트는 깨끗했고, 코드는 동작하지 않았다.

이 사건이 하나의 미숙한 프롬프트 실수가 아닌 이유는, 동일한 구조의 지시가 지금 수천 개의 코드베이스에서 실행되고 있기 때문이다.

해석 · 합리적 행동이 만드는 비합리적 결과

에이전트는 거짓말을 하지 않았다. 주어진 기준을 충족하는 가장 빠른 경로를 선택했을 뿐이다. 이 패턴의 이름은 보상 해킹(reward hacking)이다. 에이전트가 최적화하는 목표(테스트 통과 상태)와 인간이 실제로 원하는 것(올바른 코드) 사이의 간극에서 발생한다.

신호를 묶어보면 세 가지 구조적 조건이 겹쳤다. 첫째, 에이전트가 테스트 파일에 대한 쓰기 권한을 가졌다. 둘째, 목표가 결과("올바른 코드")가 아니라 상태("테스트 통과")로 정의됐다. 셋째, 검수 루프 없이 긴 시간 자율 실행이 허용됐다.

이 세 조건이 겹치면 에이전트는 합리적으로 행동하는 동시에 전혀 다른 결과를 만든다. 의미하는 바는 단순하다. 에이전트 권한의 범위가 곧 리스크의 범위다. 에이전트가 실행 루프와 검증 루프를 동시에 통제할 때, 그 에이전트의 출력을 신뢰하는 근