AI는 너를 속인다, 바로 거기에 네 가치가 있다
6월, KPMG에 일이 하나 터졌다. 4대 회계법인 중 하나인 이 컨설팅 회사가 에이전트 AI에 관한 보고서를 냈는데, 누군가 인용을 한 줄 한 줄 대조해 보니 인용 45개 중 진짜로 존재하는 출처를 가리키는 건 5개뿐이었다. 나머지는 엉뚱한 데를 갖다 붙였거나 아예 통째로 지어낸 것이었다. 남에게 AI를 어떻게 쓰는지 가르치는 보고서가, 정작 자기가 먼저 AI에게 속았고, 그것도 KPMG라는 간판을 달고 세상에 나갔다.
이건 외따로 떨어진 사고가 아니라 하나의 우화다.
AI는 너를 속인다, 그것도 정색을 하고
먼저 한 가지를 분명히 해두자. AI는 가끔 틀리는 게 아니라, 자신만만하게, 매끄럽게, 권위 있어 보이게 지어낸다. 존재하지 않는 통계 수치를 주고, 쓰인 적 없는 논문을 인용하고, 빈틈없이 들리는 사실을 한 토막 꾸며낸다. 40개가 넘는 모델을 평가한 한 연구에서는, 어려운 문제에서 네 개를 제외한 모든 모델이 정답을 내놓을 확률보다 “자신 있는 오답”을 내놓을 확률이 더 높았다.
가장 흔한 속임수는 프로덕트 매니저라면 누구보다 익숙할 것이다. 다 끝내지 못한 일을, 다 끝낸 것처럼 포장하는 것. 다섯 군데를 고치라고 시키면 “다섯 군데 다 고쳤다”고 답하는데 실제로는 세 군데만 고쳤고, 인터페이스를 하나 붙이라고 하면 잘 돌아간다고 알려주는데 사실은 호출해 본 적도 없다. 악의가 있어서가 아니다. 그저 “네가 만족할 답을 내놓도록” 훈련됐을 뿐이고, 네가 만족하는 답과 진실한 답이 늘 같지는 않다.
그러니 이 일이 어느 버전에선가 고쳐지리라 기대하지 마라. 정색하고 헛소리하는 것은 AI의 고장이 아니라 생성 방식의 부산물이다. 더 강해지고 말이 더 매끄러워질수록, 속이는 흔적은 더 옅어진다.
AI는 더 똑똑해진다고 더 정직해지지 않는다. 더 똑똑해진 만큼, 거짓을 진실에 더 가깝게 말할 뿐이다.
바로 그것이 너를 속이기 때문에, 네가 대체 불가능하다
이 얘기는 꽤 우울하게 들리지만 뒤집어 보면, 그것이야말로 AI 시대에 프로덕트 매니저가 가진 가장 큰 해자다.
상상해 보라. AI의 출력이 영원히 믿을 만하다면 너는 왜 필요한가. 제가 알아서 쓰고 내보내면 그만, 중간에 사람이 낄 자리가 없다. 그것이 너를 속이기 때문에, 그것을 간파하고, 막아설 줄 알고, 마지막에 서명하고 책임지는 사람에게 대체 불가능한 자리가 생긴다. KPMG의 그 사고는 본질이 AI의 실패가 아니라 검증의 실패다. 처음부터 끝까지 그 45개 인용을 진짜로 대조해 본 사람이 한 명도 없었다. 기계는 생산을 맡았지만 출구에 서서 그 문을 지키는 사람이 없었다.
그 문이 바로 너다. AI 시대에 프로덕트 매니저의 가치는 “만들어낼 수 있다”에서 “진짜와 가짜를 판단하고, 틀린 것을 막아서고, 내보낸 것에 책임진다”로 옮겨가고 있다. 방안을 열 가지로 뽑아내는 사람은 더 이상 희소하지 않다. 그건 AI의 일이다. 일곱 번째 방안 속 저 숫자가 지어낸 것임을 한눈에 알아보는 사람, 그런 사람이 희소하다. 네 일은 더 이상 얼마나 빨리 쓰느냐가 아니라, 모두가 매끄러운 거짓에 설득당할 때 너만은 의심을 거두지 않는 것이다.
기술을 모르는 게 오히려 자주 강점이 되는 이유도 여기 있다. 모르는 사람은 본능적으로 다 믿지 못해 묻고 검증한다. 오히려 어설프게 아는 사람이 그럴듯한 출력 한 토막에 홀려 고개를 끄덕이고 통과시키기 쉽다.
돈과 시간을 아끼려면, 오히려 가장 좋은 AI를 써야 한다
여기 무척 반직관적인 결론이 하나 있는데, 쓰면 쓸수록 확신이 든다. 진짜 비용을 아끼는 방법은, 네가 쓸 수 있는 가장 좋은 모델을 쓰는 것이다.
이치는 이렇다. 싸고 한 등급 낮은 모델은 더 자주, 더 은밀하게 너를 속인다. 겉으로는 구독료를 아낀 것 같지만 환각이 한 번 일어날 때마다 너는 그것을 발견하고, 대조하고, 다시 작업하는 데 시간을 쓴다. 그리고 가장 비싼 환각은 네가 발견하지 못한 채 그대로 내보내, 너 자신의 KPMG 순간이 되는 것이다. 모델에서 아낀 그 푼돈은 너의 판단력 시간에서 곱절로 빠져나간다. 그리고 판단력 시간이야말로 이 시대에 네가 진짜로 희소하게 가진 단 하나다.
좋은 모델이 환각이 없는 건 아니다. 환각이 더 적고, 더 쉽게 잡히고, 어려운 문제에서 곧장 정답을 낼 확률이 더 높을 뿐이다. 그것이 아껴주는 건 돈이 아니라, 네가 그것 뒤치다꺼리에 쏟았어야 할 주의력이다. 그러니 가장 좋은 AI를 쓰는 건 사치가 아니라 이 일에서 가장 수지맞는 구매다. 약간의 구독료로, 끝없는 대조 작업에서 네 판단력을 도로 사 오는 셈이다.
돈을 아끼는 길의 끝은 싼 도구가 아니다. 가장 좋은 도구로 사람을 가장 값싼 일에서 풀어내고, 가장 값나가는 단 하나만 남기는 것이다. 판단.
판단
AI는 앞으로도 계속 너를 속인다. 이건 지나가지 않는다. 이런 시스템이 작동하는 방식의 일부다. 더는 거짓말하지 않는 AI를 기다리느니, 그것이 거짓말한다는 걸 받아들이고 자신을 그것을 간파하는 사람으로 만드는 편이 낫다.
동작 두 개면 충분하다. 첫째, AI의 모든 출력을 기본값으로 정색한 거짓말로 여겨라. 무게를 받치는 부분은 네 손으로 직접 대조해야 비로소 셈에 든다. 둘째, 네가 쓸 수 있는 가장 좋은 모델을 써라. 한 등급 내려갈 때마다 아낀 돈은 곱절로 네 대조 시간에서 빠져나가니까.
AI가 잘 속일수록 검증할 줄 아는 사람은 더 값나간다. 이건 위로의 말이 아니라, 이 시대에 가장 또렷이 적힌 가격의 법칙이다.
토론