AI 할루시네이션 뜻과 줄이는 법

AI를 쓰다 보면 없는 책을 추천받거나, 하지도 않은 말을 인용당하는 일이 생깁니다. 이것을 할루시네이션이라고 부릅니다. 우리말로는 환각이라고 옮기기도 합니다.

제가 겪은 일

메일을 요약하고 답장 초안을 써 주는 도구를 만든 적이 있습니다. 편리했는데, 어느 날 요약에 상대가 하지 않은 말이 들어가 있었습니다. 그대로 답장을 보냈다면 곤란했을 것입니다. 그 뒤로는 보내기 전에 반드시 원문을 직접 확인하도록 바꿨습니다.

왜 생기나

AI는 답을 기억에서 꺼내는 것이 아니라 문장을 만들어 냅니다. 모르는 것을 모른다고 말하기보다 그럴듯한 말로 이어 가는 쪽으로 만들어져 있습니다. 문장이 매끄럽기 때문에 틀린 내용도 맞는 것처럼 보입니다.

줄이는 방법 다섯 가지

1. 자료를 함께 줍니다. 문서를 붙여 넣고 이 안에서만 답해 달라고 하면 지어낼 여지가 줄어듭니다.
2. 근거를 물어봅니다. 어느 부분을 보고 그렇게 답했는지 물어보세요.
3. 모르면 모른다고 답하라고 적습니다. 이 한 줄만 넣어도 차이가 납니다.
4. 숫자와 이름은 따로 확인합니다. 가장 잘 틀리는 부분입니다.
5. 최종 판단은 사람이 합니다. 보내고, 결제하고, 발표하기 전에는 직접 봅니다.

써도 되는 일과 조심할 일

초안 쓰기, 아이디어 내기, 문장 다듬기처럼 내가 결과를 보고 고칠 수 있는 일은 마음 편히 써도 됩니다. 사실을 확인해야 하는 일은 AI의 답을 출발점으로만 쓰세요.

정리

할루시네이션은 AI의 고장이 아니라 작동 방식에서 오는 특성입니다. 틀릴 수 있다는 것을 알고 확인하는 습관만 있으면 충분히 믿고 쓸 수 있습니다.