명령이 길어질수록 AI는 더 자주 틀린다
AI에게 터미널 작업을 맡기면 한 번에 맞을 때도 있고 같은 자리를 몇 번씩 되돌아갈 때도 있습니다. 어느 쪽이 얼마나 되는지는 느낌으로만 알고 있었는데 기록이 남아 있어서 세어 봤습니다. 8월 1일부터 9월 23일까지 쌓인 작업 세션 205개에서 AI가 실행한 셸 명령 72,912건을 꺼내 결과를 하나씩 맞춰 봤습니다. 오류 문구가 남은 것은 1,971건, 2.7%였습니다. 100번 시키면 97번은…
AI에게 터미널 작업을 맡기면 한 번에 맞을 때도 있고 같은 자리를 몇 번씩 되돌아갈 때도 있습니다. 어느 쪽이 얼마나 되는지는 느낌으로만 알고 있었는데 기록이 남아 있어서 세어 봤습니다. 8월 1일부터 9월 23일까지 쌓인 작업 세션 205개에서 AI가 실행한 셸 명령 72,912건을 꺼내 결과를 하나씩 맞춰 봤습니다. 오류 문구가 남은 것은 1,971건, 2.7%였습니다. 100번 시키면 97번은…
AI 코딩 도구를 사용하다 보면 기능 자체보다 작업 범위가 더 큰 문제가 될 때가 있습니다. 버그 하나를 고쳐 달라고 했는데 관련 파일을 대거 수정하거나, 간단한 기능에 여러 추상화 계층을 만들고, 테스트도 실행하지 않은 채 “수정했습니다”라고 끝내는 식입니다. andrej-karpathy-skills는 이런 문제를 줄이기 위한 Claude Code 규칙 파일 모음입니다. 새로운 프레임워크나 별도의 실행 엔진이 아니라, AI 에이전트가…