ChatGPT는 왜 모르는 것도 아는 척할까?

보고서를 쓰던 현우는 ChatGPT에 관련 논문을 추천해 달라고 부탁했습니다.

잠시 뒤 논문 제목과 저자, 발표 연도가 깔끔하게 정리돼 나왔습니다. 설명도 주제와 잘 맞았죠. 그런데 제목을 그대로 검색하자 논문이 나오지 않았습니다. 저자 이름과 학술지까지 따로 확인해 봤지만 찾을 수 없었습니다.

현우는 의아했습니다.

모르면 모른다고 하면 될 텐데, 왜 이렇게 구체적인 내용을 만들어 낸 걸까요? 자신 있게 설명했다는 건 사실이라는 뜻 아니었을까요?

현우가 만난 상황을 통해 언어 모델이 답을 만드는 방식과 환각을 살펴보겠습니다. 이 이야기의 논문 사례는 설명을 위한 가상 상황이며, ChatGPT의 특정 모델이나 기능에서 직접 관찰한 결과를 인용한 것은 아닙니다.

1. 문서를 그대로 꺼내기보다 다음 표현을 계산해 답을 만듭니다

ChatGPT 같은 서비스의 중심에는 대규모 언어 모델, 즉 LLM이 있습니다. 글을 작은 처리 단위인 토큰으로 다루고, 문맥 안에서 어떤 표현이 이어질지 계산하며 응답을 생성합니다. 토큰은 단어 하나와 항상 같지는 않습니다. 단어의 일부나 문장부호가 하나의 토큰이 될 수도 있습니다. 토큰과 다음 표현 예측의 관계는 OpenAI의 토크나이저 설명에 소개되어 있습니다.

물론 이 설명만으로 모델의 모든 능력이 설명되는 것은 아닙니다. 데이터를 통해 모델의 내부 숫자를 조정하는 과정은 학습, 학습된 모델로 새 입력의 결과를 계산하는 과정은 추론이라고 합니다. 보통 답변할 때마다 모델 전체를 새로 학습하는 것은 아닙니다. 중요한 점은 생성된 답변이 원본 데이터베이스에서 확인된 문장을 그대로 꺼낸 결과와 같지는 않다는 것입니다. 현우가 받은 논문 목록도 문법과 형식이 자연스럽다는 이유만으로 실제 논문 목록이 되지는 않습니다. 모델과 텍스트 생성의 기본 개념은 OpenAI 공식 문서를 참고했습니다.

2. 자연스러운 빈칸 채우기가 사실과 어긋날 수 있습니다

모델은 논문 소개에 제목, 저자, 학술지와 연도가 등장한다는 패턴을 배울 수 있습니다. 그런데 질문한 논문에 대한 충분한 근거가 없을 때도 그 형식을 만족하는 문장을 만들어 낼 수 있습니다. 실제 인물 이름과 그럴듯한 제목이 결합되면, 읽는 사람에게는 확인된 정보처럼 보이기 쉽습니다. 사실과 다르거나 주어진 근거로 뒷받침되지 않는 출력을 만드는 현상을 환각이라고 부릅니다.

이를 사람이 사실을 알면서 거짓말하는 의도와 똑같이 이해할 필요는 없습니다. 학습 자료의 한계, 질문의 모호함, 부족한 맥락과 자료 해석 실패 등 여러 문제가 영향을 줄 수 있습니다. 답의 자신감 있는 문체도 정확성을 재는 계기판은 아닙니다. OpenAI는 정확도 개선 문서에서 필요한 정보가 부족한 경우와 정보가 있어도 모델이 잘못 활용하는 경우를 나눠 설명합니다.

3. 검색을 붙이면 근거가 생기지만, 오류가 자동으로 사라지지는 않습니다

이 문제를 줄이는 방법 중 하나는 답변 전에 관련 자료를 검색해 제공하는 RAG입니다. 현우의 질문이라면 실제 논문 정보나 원문을 찾아 모델이 참고하게 하는 방식입니다. 학습에서 배운 패턴만 활용하는 대신 필요한 자료를 옆에 펼쳐 주는 셈입니다. 따라서 ChatGPT가 학습 이후의 정보는 어떤 경우에도 다룰 수 없다고 이해하는 것도 정확하지 않습니다. 외부 자료를 제공하고 활용할 수 있는지가 중요합니다.

하지만 검색이 엉뚱한 자료를 가져오거나 모델이 인용 내용을 잘못 해석하면 오류는 남습니다. 링크가 실제로 존재해도 그 페이지가 답의 주장을 뒷받침하지 않을 수 있죠. 검색 품질과 답변 품질을 함께 확인해야 한다는 점은 OpenAI의 RAG 정확도 설명에서도 강조합니다. 출처가 달렸다는 표시와 출처를 열어 내용까지 확인했다는 사실은 구분해야 합니다.

4. 좋은 질문은 도움이 되고, 중요한 사실은 원문으로 확인합니다

현우는 요청을 바꿉니다. "확인할 수 있는 논문만 제시하고, 찾지 못한 것은 찾지 못했다고 표시해 줘. 제목과 저자, 원문 링크가 일치하는지도 확인해 줘." 이렇게 자료 범위와 불확실성 표시를 명확히 하면 검토하기 쉬운 답을 얻는 데 도움이 됩니다. 다만 이런 지시가 오류를 완전히 막아 주는 것은 아닙니다. OpenAI도 공식 프롬프팅 가이드에서 근거 제공, 불확실성 표시와 결과 비교를 권합니다.

현우는 추천받은 논문의 원문에서 제목과 저자, 실제 주장까지 확인한 뒤 보고서에 반영합니다. 이처럼 기대한 기준으로 출력을 확인하는 평가가 필요합니다. AI는 아이디어를 넓히고 초안을 만드는 데 도움을 줄 수 있지만, 매끄러운 문장이 검증을 대신하지는 않습니다. 다음에 답을 읽을 때는 얼마나 자신 있게 말하는지와 함께 무엇을 근거로 말하는지 살펴보면 좋겠습니다. 중요한 이름과 수치, 인용을 확인하라는 원칙은 ChatGPT 공식 이용 안내에서도 확인할 수 있습니다.