합성 사용자, 결론은 같고 다양성은 없다

NN/g의 Rachel Banawa가 같은 설문 문항을 실제 사람 604명과 AI가 생성한 합성 응답자(synthetic users) 120명에게 던져 결과를 비교했다. "사람들의 필요를 파악해 제품·서비스 제안으로 바꾸는 일"을 어떤 분야라고 부르는지 묻는 개방형 질문이었고, 두 데이터 모두 'UX'가 지배적인 명칭이라는 같은 결론에 도달했다. 그러나 사람들은 50개가 넘는 서로 다른 명칭을 쓴 반면, 합성 응답자는 12개 남짓에 그쳤다.

"AI가 생성한 응답자 데이터는 604명의 사람을 대상으로 한 설문과 같은 결론을 가리켰지만, 서로 다른 답의 수는 훨씬 적었다."Nielsen Norman Group

왜 중요한가

합성 응답자는 UX 용어를 쓴 비율이 84%로 사람(약 70%)보다 오히려 높았고, 특히 제품 관리자 그룹에서는 93% 대 44%로 격차가 컸다. 아티클은 이를 가장 흔한 답만 재현하고 드문 답의 긴 꼬리를 잘라내는 '모드 붕괴(mode collapse)'로 설명한다. 겉으로는 결론이 같아 보여도, 직군별 차이나 예상 밖의 표현처럼 리서치가 정작 찾아야 할 신호가 사라진다는 뜻이다.

실무 적용

합성 응답자는 설문 문항을 다듬거나 가설 후보를 빠르게 뽑는 사전 단계에 한정해 쓰고, 세그먼트 간 차이·소수 의견·실제 사용 언어를 봐야 하는 단계에서는 반드시 사람 응답을 받아야 한다. 결과를 비교할 때는 평균 비율보다 '답의 다양성(고유 응답 수)'을 별도 지표로 기록하면 AI 데이터의 편향을 쉽게 드러낼 수 있다. 내비게이션 라벨이나 카피 용어처럼 사용자의 실제 어휘가 중요한 작업일수록 이 원칙이 더 엄격해야 한다.

교차 참고

• Nielsen Norman Group: Synthetic Users: If, When, and How to Use AI-Generated 'Research' — 합성 사용자는 가설 생성 정도에만 쓰고 디자인 결정의 근거로 삼지 말라는 NN/g의 기본 입장.
• Nielsen Norman Group: Evaluating AI-Simulated Behavior — 디지털 트윈·합성 사용자 연구 3건을 검토해, 추세는 맞히지만 효과 크기와 변동성은 과소평가한다고 정리.

Wemeet의 관점

Wemeet은 이번 결과를 "AI 리서치는 평균을 빨리 보여 주지만 차별점은 꼬리에 있다"는 경고로 읽는다. 웹사이트 리뉴얼에서 경쟁사와 다른 방향을 찾게 해 주는 것은 대개 소수 고객의 낯선 표현이나 불만인데, 합성 데이터는 바로 그 부분을 지운다. 일정과 예산이 빠듯할수록 AI로 초안을 만들고 실제 고객 5~10명 인터뷰로 꼬리를 확인하는 혼합 방식이 가장 현실적이다.