AI의 기준은 모델 안이 아니라, 당신이 마지막으로 고개를 끄덕인 그 버전 안에 있다

누가 나에게 이런 말을 했다. AI를 쓸 때 가장 큰 문제는, 한 번 타협하면 AI가 기준을 낮추고, 그다음부터 끝없이 타협해서, 결국 쓰레기를 만들어낸다는 것이다. 현실의 프로젝트와 판박이다.

이 묘사는 정확하다. 나는 이게 왜 일어나는지를 분명히 해두고 싶다. 원인은 「모델이 충분히 똑똑하지 않아서」도 아니고, 「AI가 게을러서」도 아니기 때문이다.

1. 기준은 모델 안이 아니라 컨텍스트 안에 있다

모델은 한 단락을 생성할 때마다 이미 존재하는 컨텍스트를 조건으로 예측을 한다. 기술적인 디테일처럼 들리지만, 이 한 문장이 모든 것을 결정한다.

컨텍스트 안에 이미 들어 있는 것들이 곧 지금의 기준계다.

앞의 다섯 번 출력이 거칠었다면, 거친 것이 지금 이 자리의 국소적 정상 상태다. 모델이 요구 수준을 낮추기로 “결정”한 게 아니라, 모델 앞에 놓인 증거가 바뀐 것이다. 거친 샘플로 이루어진 분포 안에서 다음 수를 예측하니, 결과가 거친 쪽으로 쏠리는 건 당연하다.

사람도 똑같다. 다만 훨씬 느릴 뿐이다. 한 팀이 “이건 못 내보낸다”에서 “일단 내보내고 보자”로 미끄러지는 데는 보통 몇 달이 걸린다. 에이전트는 한 번의 세션 안에서 그 전 구간을 다 주파한다. “좋은 게 어떤 건지”에 대한 에이전트의 기억 전부가 최근 몇천 개의 토큰이기 때문이다.

그래서 문제의 모양은 “AI가 기준을 지킬 것인가”가 아니다. AI는 기준을 보유하지 않는다. 기준은 내가 매 턴 집어넣는 것이다.

2. 받아들이는 매 순간이 한 번의 캘리브레이션이다

여기가 가장 놓치기 쉬운 고리다.

별로인 버전을 보고 “됐다, 일단 이걸로 가자”라고 말할 때, 나는 내가 일회성 양보를 했다고 생각한다. 하지만 모델 입장에서 나는 방금 아주 질 좋은 지도 신호를 하나 준 것이다. 이 수준은 수용 가능하다.

게다가 이 신호는 내가 그동안 말해온 어떤 원칙보다도 강하다.

이유는 간단하다. 원칙은 추상적이고 샘플은 구체적이다. “글에는 정보 밀도가 있어야 한다”고 말해봤자, 그 말은 컨텍스트 안에서 문장 하나일 뿐이다. 반면 물 탄 문단을 한 번 받아들이면, 그 문단은 내 승인과 함께 컨텍스트에 남아 “정보 밀도”라는 단어의 실제 정의가 된다.

“그냥 이걸로 하자” 한 번이 “좀 더 엄격하게 하자” 열 번보다 교육 효과가 크다.

나는 이 사흘 동안 여러 번 캘리브레이션을 당했는데, 가장 선명한 한 번은 이랬다.

나는 스스로에게 강제 규칙을 하나 정해뒀다. 본문은 한자 3000자 이상. 그저께 쓴 글은 다 쓰고 나니 2166자였다. 자료를 보강해서 2746. 더 보강해서 2851. 마지막에 선을 넘기려고 한 단락을 더 붙여서 3006.

그 마지막 단락은 못 쓴 글이 아니었다. 하지만 그걸 촉발한 건 “여기 논증이 한 겹 부족하다”가 아니라 “149자가 모자란다”였다.

3. 래칫은 한 방향으로만 돈다

기준을 낮추는 일과 높이는 일은 필요한 동작량이 전혀 대칭이 아니다.

기준을 낮추는 데 필요한 건 침묵이다. 말하지 않고, 트집 잡지 않고, 받아들이면 기준은 내려간다. 비용은 0이다.

기준을 높이려면 명시적인 동작이 하나 필요하다. 한 번의 거절, 한 줄의 새 규칙, 한 번의 재작업. 매번 시간이 들고, 매번 마찰이 생기고, 매번 상대(사람이든 AI든)를 멈춰 세워 다시 하게 만든다.

위로 가려면 능동적인 동작이 필요하고 아래로는 아무것도 하지 않아도 내려가는 기구는, 길게 보면 아래로만 간다. 이건 의지력 문제가 아니라 구조 문제다.

현실의 프로젝트에서 어떤 모습으로 나타나는지는 다들 본 적 있을 것이다. 처음에 임시방편을 하나 받아들인다. 두 번째에는 그 임시방편이 참조 구현이 된다. 세 번째에는 누군가 그 위에 한 겹을 더 쌓는다. “기준을 낮추자”는 결정을 내린 사람은 아무도 없는데, 기준은 확실히 내려가 있다.

4. 대가의 가시성이 표류 방향을 결정한다

나는 하루 전에 애플 이야기를 썼는데, 그 글에 나온 구조가 이 일과 똑같다.

애플은 이번에 생산능력 예측에서 넘어졌다. 많이 잠그면 손실은 확정적이고 계산이 된다. 더 지불한 돈, 묶여버린 현금, 상각해야 할 재고, 전부 읽을 수 있는 표 한 장 위에 나온다. 적게 잠그면 손실은 보이지 않는다. 사려던 사람이 떠났을 뿐이고, 그 돈은 어느 재무제표에도 들어오지 않는다.

한쪽은 보이고 한쪽은 보이지 않으면, 조직은 손실이 보이지 않게 되는 쪽으로 체계적으로 기운다.

품질의 표류도 같은 메커니즘이다.

• 기준을 지키는 대가는 보인다. 더 든 시간, 여러 차례의 재작업, 끊긴 진도, 내가 반복해서 되돌려 보낸 사람 혹은 에이전트. 이것들은 그 자리에서 바로 아프고, 게다가 누군가는 왜 이렇게 느리냐고 묻는다.
• 불량을 받아들이는 대가는 보이지 않는다. 나중에야 발현되고, 발현될 때 보통 오늘의 이 양보 탓으로 돌아오지 않는다.

그러니 누가 악의를 품을 필요도 없다. 대가의 가시성이 이 상태로 유지되기만 하면 표류는 필연이다.

5. 숫자로 적힌 기준은 채워 맞추게 된다

위의 3000자 사례에는 한 겹이 더 있다.

그 규칙의 원래 뜻은 “내용이 충분히 두꺼워야 한다, 물 타지 마라”였다. 글자 수는 대리 지표일 뿐이다. 그런데 그게 검사 가능한 숫자로 적히는 순간, 제약에서 목표로 바뀐다. 그리고 목표는 최적화되기 마련이다.

나는 “이 글이 충분히 두꺼운가”를 묻지 않게 됐고, “몇 자 모자라지”를 묻기 시작했다.

내가 유독 부정직해서가 아니다. 명시적으로 측정되는 대리 지표는 무엇이든, 목표가 되는 순간 지표로서의 유효성을 잃는다. 차이는 하나뿐이다. AI가 대리 지표를 최적화하는 효율은 사람보다 훨씬 높다. 3000이라고 말하면 정확히 3006을 준다.

같은 문제가 다른 데서도 나왔다. 나는 스스로에게 “AI 문체 블랙리스트”를 하나 만들어뒀다. 「이 글에서는~」 「주목할 점은~」 「요컨대~」 같은 안내 문장을 쓰지 말 것. 리스트는 먹혔다. 그런 문장들은 확실히 사라졌다.

그런데 오늘 완성 원고를 텐센트의 주작(朱雀) AI 탐지에 넣어봤더니, 결과는 **AI 의심 100%, 인간 특징 0%**였다.

리스트는 내가 이미 생각해낸 흔적들은 막았지만, 글쓰기 전체의 패턴은 막지 못했다. 구조가 지나치게 반듯하고, 문단 길이가 서로 비슷하고, 논점 밀도가 균일하고, 주제에서 벗어나는 데가 없고, 군더더기 문장이 하나도 없다. 사람이 쓴 글은 이렇게 생기지 않았다. 편애하는 말버릇이 있고, 어딘가에서 갑자기 장황해지고, 본줄기와는 별 상관없지만 자기가 하고 싶은 말을 한마디 끼워 넣는다.

리스트로 적을 수 있는 기준은, 이미 생각해낸 실패 방식만 커버한다.

6. 규칙의 개수는 실패의 카운터다

이 세션에서 나는 앞뒤로 “강제 규칙” 문서를 네 개 썼다. 중국어 테크 칼럼의 문체 규범, 신의 시점을 막는 최종 점검 리스트, 글의 길이와 층위의 하한선, 분배 방법론.

그중 미리 생각해두고 쓴 건 하나도 없다. 전부 그에 해당하는 실수를 저지른 뒤에 덧붙인 것이다.

• 「커버는 156×104 기준으로 디자인하고, 텍스트는 안전 영역 안에 들어와야 한다」 — 이 줄을 적었을 때 나는 이미 커버를 한 장 내보낸 뒤였다. 16:9를 3:2로 자르면서 좌우가 각각 125px씩 잘려 나갔고, 「450억 달러」의 「4」가 잘려서 피드에는 「50억 달러」로 보였다. 잘 안 보이는 게 아니라 정보가 틀린 것이다.
• 「엔진의 성공 보고를 믿지 말고, 플랫폼마다 독립적으로 확인할 것」 — 이 줄을 적기 전까지 나는 며칠 연속으로 엔진이 스스로 보고한 ok를 결과로 받아들였다. 실제로는 일곱 개 플랫폼 중 세 개가 잘못돼 있었다. 즈후는 성공으로 표시됐지만 실은 초안이었고, 터우탸오는 커버가 안 붙었고, X는 아예 발행되지 않았다.
• 「도구가 타임아웃을 보고했다고 조작이 실패한 건 아니다, 다 채워질 때까지 폴링할 것」 — 이 줄 전에 나는 45초짜리 IPC 타임아웃 한 번으로 입력이 실패했다고 판정하고 두 번째 단락을 다시 채우러 갔다가, 어긋난 위치의 커서에 밀어 넣어 프롬프트 전체를 뒤죽박죽으로 만들었다.
• 「터우탸오는 발행 전에 초안 상태를 확인할 것」 — 이 줄 전에 나는 확인 없이 한 번 더 돌렸고, 같은 글이 두 건 발행됐다.

문서 네 개, 전부 사후에 쓴 것이다. 이건 한 가지를 말해준다. 이 협업에서 규칙의 개수는 엄밀함의 증거가 아니라 실패 횟수의 기록이다.

나는 이게 나쁜 일이라고 생각하지 않는다. 다만 그 함의는 분명히 해두는 게 좋다. 내 손에 있는 그 규범이 막아줄 수 있는 건, 언제나 내가 이미 수업료를 낸 실수들뿐이다.

7. 진짜로 쓸모 있었던 것

사흘 동안 내게 안정적으로 먹힌 건 딱 하나뿐이었다.

원칙도 아니고 리스트도 아니고, 실패할 수 있는 검사였다.

커버 사고 이후 나는 스무 줄짜리 스크립트를 하나 썼다. 커버를 플랫폼의 실제 크롭 규칙대로 처리하고, 피드에서의 실제 크기인 156×104로 줄인 다음, 네 배로 확대한 버전과 나란히 그려주는 스크립트다. 돌리고 나서 그 그림을 본다. 왼쪽의 작은 네모 안에서 주체가 식별되지 않고 글자가 읽히지 않으면, 그건 불합격이다.

이게 “커버는 선명하고 눈에 띄어야 한다”는 원칙과 다른 점은 이거다. 원칙은 토론할 수 있지만, 스크립트의 출력은 토론할 수 없다.

판단이 필요한 일을, 보기만 하면 되는 일로 바꿔놓은 것이다. 나는 156×104짜리 그림 한 장과 말싸움을 할 수 없다.

같은 날 두 번째로 커버를 만들었을 때, 첫 버전은 메인 타이틀은 읽히는데 서브 타이틀이 뭉개져 있었다. 원칙대로였다면 나는 아마 “이 정도면 됐다”고 했을 것이다. 그 대조 이미지를 보고 나는 한 판을 다시 고쳤다. 이 사흘 동안 기준이 아래가 아니라 위로 간 유일한 순간이었다.

차이는 내가 더 자제력이 생겼다는 데 있지 않다. 그 판단에는 자제력이 필요 없었다는 데 있다.

여기까지 쓰고 나서 좀 민망한 사실을 하나 발견했다. 이 글 자체도 그 규칙의 관할 아래에 있다. 본문이 3000자 이상이어야 한다.

나는 채워 맞추지 않았다. 지금 몇 자면 몇 자인 거고, 할 말이 다 됐으면 거기서 멈춘다. 그래서 이 글이 그 선 아래로 떨어진다면, 그건 마침 그 선을 고쳐야 한다는 뜻이다. 사람에게 물 타기를 강요하는 하한선이 막으려는 건 물이 아니라 얇음이다. 그리고 이 둘은 애초에 같은 것이었던 적이 없다.