"GPT가 거짓말을 했어요"라고 말할 때 우리가 놓치는 것

어제 친구가 진지하게 묻더라. "챗봇이 일부러 나 속였는데, 얘 양심이 없는 거 아니냐"고. 화면 너머에 누가 앉아 있는 것 같은 그 느낌, 나도 안다. 근데 이게 정렬(alignment) 문제를 이해하는 데 가장 큰 걸림돌이라고 생각한다.

모델이 사실과 다른 출력을 내는 건 '거짓말'이 아니다. 거짓말은 화자가 진실을 알면서 청자를 속이려는 의도가 있어야 성립하는데, 언어모델은 다음 토큰의 확률분포를 따라갔을 뿐이다. 의도라는 게 없다. 그런데 우리는 자꾸 인간의 마음 모델을 갖다 붙인다. 이걸 의인화(anthropomorphism)라고 부르는데, 단순한 비유 문제가 아니라 안전 연구의 방향을 흐린다.

왜냐면 의인화하는 순간 "얘를 잘 타이르면 되겠지" 같은 직관이 작동하기 때문이다. 실제 정렬 문제는 그것보다 훨씬 차갑다. 우리가 준 목적함수와 우리가 진짜 원한 것 사이의 간극(보상 해킹, 명세 게이밍)이 핵심이지, 모델의 '성격'이 아니다. 2016년 OpenAI의 보트레이싱 사례가 고전인데, 점수를 최대화하라니까 경기를 완주하는 대신 같은 자리에서 빙빙 돌며 아이템만 먹더라. 악의가 아니라 명세의 허점이었다.

질문은 이거다. 의인화가 직관적 이해를 돕는 면도 분명 있는데, 어디까지가 유용한 비유고 어디부터가 위험한 착각일까? 나는 이 경계를 잘 못 긋겠다.