AI 글 검증

AI 초안에서 목록은 표 다음으로 손이 많이 가는 자리입니다. 항목이 문장인지 낱말인지, 마침표를 찍는지 안 찍는지가 글마다 다르고 한 목록 안에서도 다릅니다. 두 사이트의 글 89편에서 목록 127개, 항목 547개를 뽑아 셌습니다. 항목 547개 중 275개(50.3%)는 마침표 없이 명사로 끝났고, 198개(36.2%)는 ‘습니다’로 끝났으며, 28개는 ‘~다.’로 끝났습니다. 끝맺음이 섞인 목록은 127개 중 11개였습니다. 목록이 소제목 바로…

글을 읽다가 문장이 자꾸 같은 말로 시작하면 지루해집니다. 그 느낌이 실제 수치로 어느 정도인지 두 사이트의 글 87편에서 본문 문장 6,821개를 끊고 첫 어절만 모아 세었습니다. 첫 어절의 종류는 2,471가지로 다양했지만, 위쪽은 한 방향으로 쏠려 있었습니다. 가장 많은 첫 어절은 ‘이’로 301번이고, 그다음이 ‘다만’ 141번, ‘따라서’ 100번입니다. 접속 부사로 시작한 문장은 912개(13.4%)였고, 87편 중 접속…

따옴표는 남의 말을 옮길 때 씁니다. 그런데 AI 초안에서 따옴표를 열어 보면 안에 든 것이 남의 말이 아닌 경우가 많습니다. 두 사이트에 올린 글 85편(39만 943자)에서 따옴표 442쌍과 괄호 236쌍을 전부 꺼내 안에 든 것을 분류했습니다. 따옴표 안이 낱말인 것이 250개, 문장인 것이 192개였고, 문장 가운데 누군가의 발언으로 볼 만한 것은 서술문 93개 중 25개뿐이었습니다….

AI 초안으로 시작한 글 83편에는 코드 블록이 124개 들어 있습니다. 명령어, 설정 파일, PHP 필터, 로그 출력이 섞여 있고, 글을 다듬을 때 문장은 여러 번 고쳤지만 코드 블록은 “AI가 준 대로” 두는 경우가 대부분이었습니다. 이번에 그 124개를 전부 꺼내 줄 수, 글자 수, 종류, 앞뒤 문맥, 그리고 실제 화면에서 몇 줄로 보이는지를 쟀습니다. 결과는 세…

AI에게 초안을 받아 두 블로그에 올린 글이 81편이 됐습니다. 글마다 다른 글로 가는 링크를 손으로 두 개씩 붙여 왔는데, 이게 전체로 보면 어떤 모양인지는 한 번도 확인하지 않았습니다. 오늘 81편의 본문에서 링크를 전부 뽑아 어디에서 어디로 가는지 세어 봤습니다. 링크는 130개였고, 그중 절반 가까운 글이 아무 데서도 링크를 받지 못한 상태였습니다. 그리고 넷은 이미 사라진…

AI에게 초안을 받아 워드프레스에 올릴 때, 저는 완성된 HTML을 그대로 본문에 넣습니다. 화면에는 제목도 표도 코드도 제대로 나옵니다. 그래서 지금까지 문제가 있다고 생각해 본 적이 없었습니다. 오늘 두 블로그에 발행된 글 79편의 본문을 데이터베이스에서 꺼내 워드프레스가 그것을 어떻게 이해하는지 세어 봤습니다. 79편 중 69편은 본문 전체가 블록 하나로 잡혔습니다. 평균 4,830자짜리 글 한 편이 편집기에서는…

AI가 쓴 글은 숫자를 잘 다룰까요. 표기가 틀리지 않는지, 글마다 고르게 들어가는지는 눈으로 훑어서는 알기 어렵습니다. 두 사이트에 올린 글 78편에서 표와 코드와 그림 설명을 걷어내고 본문만 남긴 다음, 거기 있는 숫자를 전부 세었습니다. 338,946자에 아라비아 숫자가 1,770개, 191자에 하나꼴이었습니다. 결과는 두 갈래로 갈렸습니다. 표기 규칙은 한 건도 틀리지 않았습니다. 천 단위 쉼표를 붙여야 할…

AI에게 글을 시키면 표를 잘 넣어 줍니다. 문단만 이어지는 글보다 정리돼 보이고, 초안을 받아 든 사람도 표가 있으면 손볼 것이 적다고 느낍니다. 그런데 그렇게 받은 표가 실제로 어떤 모양인지는 따로 세어 보지 않으면 알기 어렵습니다. 이 글을 쓰기 직전까지 두 사이트에 발행한 글 75편, 거기에 들어 있는 표 129개를 열어 열과 행, 셀 하나하나의 글자…

AI가 쓴 글에서 가장 먼저 눈에 들어오는 것은 본문이 아니라 소제목입니다. 목차처럼 훑어 내려가다 보면 어딘가 비슷한 느낌이 드는데, 그 느낌이 무엇인지 말로 하기는 어렵습니다. 그래서 세어 봤습니다. 운영 중인 두 블로그의 글 74편에서 소제목 651개를 뽑아 길이, 어절 수, 끝나는 말, 반복되는 문구를 전부 집계했습니다. 끝말 하나만 봐도 답이 나왔습니다. 651개 중 43개가 ‘이유’로…

AI가 만든 초안을 그대로 올린 글과 사람이 다듬은 글은 어디서 갈릴까요. 문장이나 어미는 이미 세어 봤으니 이번에는 굵은 글씨를 세었습니다. 두 블로그의 공개 글 72편, 본문 34만 9천 자에서 <strong> 태그를 전부 뽑았습니다. 결과는 둘로 갈렸습니다. 45편은 굵은 글씨가 한 글자도 없었고, 나머지 27편에는 평균 11.6개가 있었습니다. 중간이 없습니다. 0개 아니면 10개 이상 글당 굵은…

AI에게 글을 맡기면 제목까지 함께 나옵니다. 그런데 그 제목들을 모아 놓고 보면 이상하게 닮았습니다. 무엇이 닮았는지 감으로는 잡히지 않아서, AI가 초안을 만든 글 69편의 제목을 글자 수준에서 세어 봤습니다. 길이 분포와 문장 부호, 반복되는 표현까지 전부입니다. 가장 뚜렷한 것은 짧은 제목이 한 개도 없다는 점이었습니다. 25자 이하가 0개 먼저 길이입니다. 제목 69개의 글자 수를 세어…

AI가 쓴 글을 고칠 때 문체부터 손대는 경우가 많습니다. 습니다체가 딱딱하다거나 문장이 다 비슷하게 끝난다는 지적입니다. 그런데 한국어 설명문은 원래 대부분의 문장이 ‘다’로 끝나므로, 어미 자체를 문제로 삼으면 고칠 방법이 없습니다. 그래서 문장 끝을 어디까지 봐야 하는지를 정하기 위해 AI가 초안을 쓴 글 68편의 문장 4,589개를 끝에서부터 세어 봤습니다. 반복되는 것은 어미가 아니라 그 앞이었습니다….