AI 초안에 ‘제공된 자료에 따르면’이 남는 이유와 프롬프트에서 막는 방법
AI로 초안을 만들어 쓰다 보면 어느 순간 본문에 어색한 문장이 섞여 있는 것을 발견하게 됩니다. “제공된 자료에 따르면”, “위에서 언급한 내용을 정리하면”, “해당 게시물의 작성자는” 같은 표현입니다. 읽는 사람 입장에서는 갑자기 존재하지 않는 무언가를 가리키는 문장이라 흐름이 끊깁니다. 이것은 모델이 실수로 만든 오타가 아니라, 지시문의 구조에서 예측 가능하게 발생하는 현상입니다. 이 글에서는 이런 표현이 왜 남는지, 지시문에서 어떻게 막는지, 그리고 이미 쌓인 글을 어떤 순서로 걷어내는지 정리합니다.
지시문의 어휘가 결과물의 어휘가 된다
AI에게 글을 맡길 때 지시문에는 보통 두 가지가 섞여 있습니다. 하나는 재료를 설명하는 말이고, 다른 하나는 완성된 글이 갖춰야 할 조건입니다. 예를 들어 “아래 자료를 참고해 블로그 글을 작성하라. 자료의 핵심을 요약하고, 자료에 없는 내용은 넣지 마라”는 지시문에는 재료를 가리키는 단어가 세 번 들어 있습니다.
문제는 모델이 이 두 층을 명확히 분리해 주지 않는다는 점입니다. 지시문에 자주 등장한 단어는 그 작업의 주제어처럼 취급되고, 결과물의 어휘에도 영향을 줍니다. 재료를 부르는 이름을 스무 번 쓴 지시문은 그 이름이 본문에 등장할 확률을 함께 올립니다. 지시문을 다듬을수록 조건이 늘어나고, 조건이 늘수록 재료를 가리키는 말이 반복되는 구조라 문제가 저절로 커집니다.
그래서 이 현상은 모델을 바꾸거나 온도 값을 조정한다고 사라지지 않습니다. 원인이 모델의 성능이 아니라 지시문의 어휘 분포에 있기 때문입니다.
새어 나오는 표현은 네 갈래로 나뉜다
실제로 남는 표현을 모아 보면 성격이 뚜렷하게 갈립니다. 갈래를 나눠 두면 검사할 때도, 지시문을 고칠 때도 훨씬 수월합니다.
| 갈래 | 본문에 남는 형태 | 고친 형태 |
|---|---|---|
| 재료 지칭 | 제공된 자료에서는 이 기능을 무료로 소개합니다 | 이 기능은 무료로 제공됩니다 |
| 전달 어투 | ~라고 설명합니다 / ~라고 적혀 있습니다 | ~입니다 / ~됩니다 |
| 익명 화자 | 작성자는 이 방법을 권합니다 | 이 방법이 안전합니다 |
| 매체 지칭 | 해당 게시물에서는 세 가지를 꼽습니다 | 기준은 세 가지입니다 |
오른쪽 열을 보면 공통점이 보입니다. 전달하는 문장을 단정하는 문장으로 바꾸면 대부분 해결됩니다. 문장이 짧아지고 주장도 분명해지므로 글의 완성도까지 함께 올라갑니다.
다만 전부 지우면 안 되는 것
여기서 한 번 멈춰야 합니다. 전달 어투를 기계적으로 전부 없애면 사실 관계가 무너지는 문장이 생깁니다. 주체가 분명한 인용은 남겨야 합니다.
“한 사용자는 이 도구가 빠르다고 말합니다”는 주체가 익명이므로 지우는 편이 낫습니다. 반면 “개발사는 이번 버전에서 응답 속도를 개선했다고 밝혔습니다”는 발표 주체가 명확하고, 이것을 “응답 속도가 개선되었습니다”로 바꾸면 검증되지 않은 성능을 글쓴이가 보증하는 문장이 됩니다. 익명 화자는 지우고 실명 주체는 남긴다는 기준 하나로 구분하면 됩니다.
지시문에 금지 규칙을 쓰는 방법
지시문에 “자연스럽게 써라”나 “출처를 언급하지 마라” 같은 문장을 넣는 것만으로는 효과가 크지 않습니다. 기준이 추상적이면 모델이 어디까지가 위반인지 판단할 수 없기 때문입니다. 실제로 작동하는 규칙은 형태가 정해져 있습니다.
- 금지할 단어를 그대로 나열합니다. 판단을 맡기지 않고 목록으로 제시합니다.
- 어미까지 함께 적습니다. 단어만 막으면 어미를 바꿔 같은 뜻이 나옵니다.
- 대체 형태를 짝으로 보여 줍니다. 하지 말라는 말보다 이렇게 쓰라는 예시가 훨씬 잘 지켜집니다.
- 재료를 부르는 이름 자체를 줄입니다. 지시문에서 덜 쓰면 결과물에서도 덜 나옵니다.
세 번째 항목이 특히 중요합니다. 부정형 지시는 지켜지지 않는 경우가 많지만, 잘못된 예와 올바른 예를 나란히 둔 짝은 상대적으로 잘 지켜집니다. 지시문 안에서는 다음과 같은 형태가 됩니다.
(X) 제공된 자료에 따르면 이 도구는 무료입니다.
(O) 이 도구는 무료입니다.
(X) 작성자는 세 가지 방법을 소개합니다.
(O) 방법은 세 가지입니다.네 번째 항목은 대부분 놓치는 부분입니다. 금지 규칙을 아무리 정교하게 써도, 그 규칙을 설명하느라 재료를 가리키는 이름을 또 열 번 쓰면 효과가 상쇄됩니다. 규칙을 쓸 때는 그 이름을 최소한으로만 쓰고, 필요하면 규칙 문단 안에서만 언급하는 편이 낫습니다.
재료를 어디에 어떻게 붙이느냐도 영향을 준다
금지 목록만큼 효과가 큰데 잘 다뤄지지 않는 요소가 있습니다. 재료를 지시문의 어느 위치에 어떤 형태로 붙이는가입니다. 같은 내용이라도 붙이는 방식에 따라 결과가 달라집니다.
지시문과 재료를 구분 없이 한 덩어리로 이어 붙이면 모델 입장에서는 둘의 경계가 흐릿합니다. 재료 앞뒤를 <재료> 같은 표시로 감싸 두면 어디까지가 읽을 것이고 어디부터가 지켜야 할 조건인지가 분명해집니다. 경계가 분명해질수록 재료를 가리키는 말이 본문으로 넘어올 여지가 줄어듭니다.
작업 종류에 따라 위험도도 다릅니다. 재료의 형태가 완성된 글에 가까울수록 그 글의 말투와 시점이 함께 딸려 옵니다.
| 재료의 형태 | 딸려 오기 쉬운 것 | 대비 |
|---|---|---|
| 기사·블로그 글 전문 | 전달 어투, 기자·필자 시점 | 사실만 뽑아 다시 배열하도록 지시 |
| 커뮤니티 글과 댓글 | 익명 화자 지칭, 구어체 | 화자를 지우고 내용만 남기도록 지시 |
| 공식 문서·발표문 | 기관 명칭 반복 | 주체가 필요한 문장만 남기고 정리 |
| 항목만 정리한 메모 | 거의 없음 | 대신 사실 확인이 더 중요해짐 |
표의 마지막 줄이 시사하는 바가 있습니다. 재료를 완성된 글이 아니라 사실 항목만 추린 메모 형태로 정리해서 넘기면 이 문제 자체가 거의 발생하지 않습니다. 다듬는 단계에 시간을 쓰기보다 넣는 단계를 손보는 편이 결과적으로 덜 걸립니다.
검색 결과에까지 노출되는 경로
이 문제가 단순한 문장 다듬기 이상인 이유가 있습니다. 검색 결과에 표시되는 설명문은 별도로 지정하지 않으면 본문 앞부분에서 자동으로 만들어집니다. 새어 나온 표현이 하필 첫 문단에 있으면 그 문장이 그대로 검색 결과의 설명문이 됩니다.
공유했을 때 뜨는 미리보기 카드도 같은 값을 씁니다. 결과적으로 글을 열어 본 사람만이 아니라 목록에서 스쳐 지나가는 사람에게까지 어색한 문장이 노출됩니다. 본문을 고치면 설명문은 다시 생성되지만, 검색 쪽 표시가 갱신되기까지는 시간이 걸립니다. 그래서 발견 즉시 고치는 편이 낫습니다.
이미 발행한 글을 걷어내는 순서
지시문을 고쳐도 이미 올라간 글은 그대로 남습니다. 별도로 정리해야 하는데, 무작정 훑기보다 검색어를 정해 두고 도는 편이 빠릅니다. 사이트 내 검색창이나 검색 엔진의 사이트 지정 검색으로도 충분합니다.
- 재료 지칭: 자료, 원문, 제공된, 참고한 내용
- 전달 어투: ~에 따르면, ~라고 설명, ~라고 적혀
- 익명 화자: 작성자, 글쓴이, 한 사용자, 댓글
- 매체 지칭: 게시물, 해당 글, 원글, 소개된
검색 결과를 훑으면 한 가지가 더 보입니다. 이런 표현은 특정 글에 몰려 있는 경우가 많습니다. 재료 자체가 개인의 후기나 짧은 글이었던 경우, 그 글 전체가 남의 말에 대한 논평 구조로 짜여 있기 때문입니다. 이때는 문장 몇 개를 바꾸는 것으로 끝나지 않고 글의 뼈대를 다시 잡아야 합니다.
정리하면 지시문과 결과물을 함께 봐야 한다
AI 글쓰기에서 품질 점검은 보통 결과물만 대상으로 이뤄집니다. 하지만 같은 표현이 반복해서 나온다면 그것은 개별 글의 문제가 아니라 지시문의 구조가 만들어 낸 결과입니다. 결과물만 고치면 다음 글에서 같은 문장이 다시 나옵니다.
순서는 지시문을 먼저 고치고, 그다음 쌓인 글을 정리하는 쪽이 효율적입니다. 반대로 하면 정리하는 동안에도 같은 문제가 계속 추가됩니다. 그리고 정리할 때는 익명 화자와 실명 주체를 구분해, 지워야 할 것과 남겨야 할 것을 나누는 기준을 먼저 세워 두는 것이 안전합니다.
