AI 결과 하나는 '평가'가 아니다

Nielsen Norman Group의 Raluca Budiu가 팀들이 AI를 도입할 때 저지르는 가장 흔한 착각을 짚었습니다. 데모에서 나온 그럴듯한 결과물 하나를 보고 '이 도구는 쓸 만하다'고 판단하는 것입니다. 언어 모델은 토큰마다 확률을 매기는 비결정적 시스템이라, 같은 입력에도 실행할 때마다 다른 답을 내놓습니다. 성공한 출력 하나는 그 시스템이 '해낼 수 있다'는 가능성만 보여줄 뿐, 실제로 얼마나 자주·안정적으로 해내는지는 말해주지 않습니다.

"좋은 출력 하나는 시스템이 그 일을 할 수 있다는 것만 보여줄 뿐, 얼마나 자주 또는 얼마나 안정적으로 해내는지는 말해주지 않는다."Raluca Budiu, Nielsen Norman Group

왜 중요한가

같은 성공률이라도 실패의 '양상'이 전혀 다를 수 있다는 점이 핵심입니다. 어떤 시스템은 특정 질문에서 늘 틀리는 '예측 가능한 실패'를 하고, 다른 시스템은 아무 질문에서나 가끔 틀리는 '산발적 실패'를 합니다. 두 경우의 대응 전략은 완전히 달라야 합니다. 그래서 제대로 된 평가는 난이도와 상황이 다른 여러 대표 입력을 쓰고, 같은 입력을 여러 번 반복 실행하며, 결과를 평균과 신뢰구간으로 요약하는 정량 UX 연구의 방법을 따라야 합니다.

실무 적용

제품팀은 '멋진 데모 한 번'을 채택 근거로 삼는 습관을 버려야 합니다. 쉬운 시나리오만 골라 테스트하면 실제 성능을 과대평가하게 되므로, 테스트 세트에는 복잡하고 까다로운 사례를 의도적으로 섞어야 합니다. 또한 '입력 종류에 따른 편차'와 '같은 입력의 실행 간 편차'라는 두 가지 변동성을 분리해 측정해야, 어디를 개선할지가 보입니다. AI 기능의 신뢰성은 인상이 아니라 반복 측정으로 증명하는 것입니다.

교차 참고

• Nielsen Norman Group: State of UX 2026 — 정량적 깊이로 차별화하라는 올해 UX 흐름과 맞닿아 있습니다.
• Nielsen Norman Group: AI 주제 모음 — AI를 UX 관점에서 평가·설계하는 자료를 보완합니다.

Wemeet의 관점

Wemeet은 AI 도입의 진짜 실력이 '얼마나 좋은 출력을 뽑았나'가 아니라 '그 성능을 어떻게 증명했나'에서 갈린다고 봅니다. 화면에 띄운 결과 하나는 마케팅이지 근거가 아닙니다 — 반복 가능한 측정과 신뢰구간을 요구하는 팀만이 AI 위에 안심하고 제품을 올릴 수 있습니다.