Claude가 지어낸 답을 잡는 법, Anthropic 공식 문서 정리

계약서를 올리고 위약금 조항이 있는지 물었습니다. Claude가 답합니다. 제12조 3항에 있습니다. 찾아보니 그 계약서는 제9조까지밖에 없습니다.

Claude를 만든 Anthropic도 이 문제를 문서에 적어 두었습니다. 가장 앞선 언어 모델도 사실과 다르거나 주어진 자료와 맞지 않는 글을 만들 때가 있다는 것입니다. 그리고 줄이는 방법을 함께 안내합니다.

1. 모른다고 답해도 된다고 왜 말해 줘야 하나요?

공식 문서의 첫 번째 방법입니다. Claude에게 확실하지 않다고 인정해도 된다는 허락을 분명하게 주라는 것입니다. 문서는 이 간단한 방법이 틀린 정보를 크게 줄일 수 있다고 적습니다.

공식 예시는 인수합병 보고서를 분석하는 프롬프트이고, 끝에 이런 뜻의 문장이 붙어 있습니다. 확실하지 않거나 보고서에 필요한 정보가 없으면 자신 있게 판단할 정보가 부족하다고 말해 달라.

질문 끝에 이렇게 붙이면 됩니다.

확실하지 않거나 자료에 없는 내용이면 지어내지 말고
"확인할 수 없다"고 말해 줘.

2. 긴 문서는 왜 원문부터 뽑게 하나요?

두 번째는 긴 문서를 다룰 때 쓰는 방법입니다. 문서는 답하기 전에 글자 그대로의 인용문을 먼저 뽑게 하라고 권합니다. 그러면 답이 실제 글에 묶여서 지어낼 여지가 줄어듭니다.

공식 예시는 개인정보 처리방침을 검토하는 프롬프트입니다. 우리 상황으로 옮기면 이렇습니다.

답하기 전에 이 계약서에서 위약금과 관련된 문장을 원문 그대로 먼저 뽑아 줘.
관련 문장이 없으면 "관련 문장 없음"이라고 써 줘.
그다음 뽑은 문장만 근거로, 문장 번호를 붙여서 답해 줘.

3. 근거 없는 말은 어떻게 걸러내나요?

세 번째는 답을 쓴 뒤에 하는 검증입니다. 문서는 주장마다 인용과 출처를 붙이게 해서 답을 확인할 수 있게 만들라고 합니다. 답을 쓴 다음 주장마다 근거 문장을 찾게 하고, 찾지 못하면 그 주장을 거두게 할 수도 있다고 설명합니다.

단계	Claude가 하는 일
초안	올린 자료만으로 글을 씁니다
검토	주장마다 근거가 되는 원문 문장을 찾습니다
삭제	근거를 못 찾은 주장은 지우고 빈 대괄호를 남깁니다

공식 예시는 제품 자료만으로 보도자료를 쓰게 하는 프롬프트입니다. 지운 자리에 빈 대괄호를 남기게 하는 것도 그 예시에 나옵니다.

답을 다 쓴 뒤 주장마다 근거가 되는 원문 문장을 찾아 붙여 줘.
근거를 못 찾은 주장은 지우고 그 자리에 [ ]만 남겨 줘.

더 꼼꼼히 하려면 무엇이 있나요?

문서는 심화 방법도 네 가지 적어 둡니다.

공식 방법	뜻
생각 과정 확인하기	답이 이상하면 요약된 생각 과정을 보고 어디에서 잘못 짚었는지 찾습니다
여러 번 돌려 비교하기	같은 질문을 여러 번 하고 답이 서로 다르면 의심합니다
이어서 다듬기	앞선 답을 다시 넣고 검증하거나 보충하게 합니다
자료 밖 지식 막기	올린 문서의 정보만 쓰고 일반 지식은 쓰지 말라고 분명히 적습니다

두 번째는 대화 화면에서도 바로 해 볼 수 있습니다. 새 대화를 열어 같은 질문을 한 번 더 하고 두 답을 견줘 보는 것입니다.

강의에서 써 보니

비기 생각은 이렇습니다. 셋 가운데 하나만 고르라면 첫 번째입니다. 한 줄이고, 어떤 질문에도 붙일 수 있습니다.

계약서나 약관처럼 틀리면 곤란한 문서는 두 번째까지 씁니다. 뽑아 준 원문 문장을 제가 문서에서 직접 찾아봅니다. 찾아지면 믿고, 안 찾아지면 그 답은 버립니다.