모델 평가Evaluation
Evaluation
모델이나 AI 시스템이 실제 목적에 맞게 작동하는지 기준과 사례로 확인하는 과정이에요.
쉽게 비유하면
시험 점수뿐 아니라 실습, 속도와 실수 유형까지 보며 업무에 투입할 준비가 됐는지 확인하는 것과 같아요.
조금 더 자세히
분류 정확도처럼 수치로 계산하는 평가와, 생성된 답의 유용성·근거를 사람이 판단하는 평가가 있어요. 자동 채점과 모델을 이용한 채점도 한계를 확인하며 활용해요.
모델뿐 아니라 검색, 프롬프트, 도구를 포함한 전체 시스템을 평가해야 해요. 평균 점수와 함께 어려운 사례, 비용, 지연 시간과 실패 유형도 확인해요.
왜 생겼나요
그럴듯한 시연 몇 개만으로는 실제 품질을 알기 어려워, 대표적인 사례와 반복 가능한 기준으로 비교할 필요가 생겼어요.
어떻게 작동하나요
- 1. 기준 설계 업무의 성공과 실패를 구분할 기준을 정해요.
- 2. 사례 실행 학습이나 개선에 직접 쓰지 않은 대표 사례로 시험해요.
- 3. 분석과 추적 결과를 비교하고 변경 뒤 성능 저하가 없는지 살펴요.
활용 예시
- 챗봇 답변의 근거 확인
- 모델 교체 전 품질 비교
- 에이전트 작업 완료율 측정
흔한 오해
공개 벤치마크 점수가 높으면 우리 서비스에도 최고인가요?
데이터와 목표가 다를 수 있어요. 우리 업무에 맞는 평가셋과 사용자 확인이 필요하고, 평가 자료가 학습이나 튜닝에 섞이지 않도록 관리해야 해요.
이렇게 쓰여요
서비스 변경 검토
“새 모델을 바로 적용하기 전에 실제 문의 평가셋으로 품질, 비용과 응답 시간을 비교하자”라고 이야기해요.
관련 용어
함께 보면 좋은 용어
최종 업데이트