AI의 진짜 제품은 모델이 아니라 데이터셋

Hugging Face 블로그에 Juan Gramajo가 한 달간 AI 사이드 프로젝트를 직접 만들며 얻은 교훈을 정리했습니다. 포켓몬 카드 투자 분석용 AI 비서를 만들며 그가 내린 결론은 명확합니다 — 프로젝트 시간의 약 80%는 데이터 수집·정제·구조화에 쓰였고, 정작 모델 학습은 20%에 불과했다는 것입니다.

"데이터셋이 곧 제품이다."Juan Gramajo, Hugging Face

왜 중요한가

그는 커뮤니티 포럼의 수백 개 스레드를 추려 약 1만 2,800개의 양질 예시를 만들고, 이를 '가치 평가 사실'과 '추론 패턴' 두 데이터셋으로 나눴습니다. 그런 다음 7B 모델을 파인튜닝했죠. 핵심 통찰은 '무엇을 모델 가중치에 넣고 무엇을 실시간 데이터로 조회할지'를 구분하는 데 있었습니다. 시세처럼 계속 바뀌는 값은 API가 맡고, 파인튜닝 모델은 목소리와 분석적 관점을 담당합니다. 출력의 편차가 오히려 모델이 사실이 아니라 '판단'을 배웠다는 신호였습니다.

실무 적용

AI 기능을 붙이려는 팀이라면 모델 선택보다 데이터 설계에 먼저 시간을 쓰세요. 흩어진 도메인 지식을 학습 가능한 예시로 정제하는 작업이 실제 성능을 가릅니다. 그리고 '무엇을 가중치에 굽고, 무엇을 실시간으로 조회할지'의 경계를 초기에 정해야 합니다 — 자주 바뀌는 사실은 모델에 넣지 말고 데이터 레이어로 분리하는 것이 유지보수의 핵심입니다.

교차 참고

• Hugging Face: Data for Agents — 에이전트 시대에 데이터가 왜 경쟁력의 핵심인지 배경을 함께 봅니다.
• Hugging Face: Grabette — an open system to record robot-manipulation data — 학습의 진짜 병목이 데이터 수집이라는 관점을 보완합니다.

Wemeet의 관점

Wemeet은 AI 도입을 도울 때 '어떤 모델을 쓸까'가 아니라 '어떤 데이터를 가졌는가'에서 출발합니다. 모델은 며칠이면 바꿔 낄 수 있지만, 잘 정제된 도메인 데이터는 하루아침에 복제되지 않습니다 — AI의 진짜 해자는 화려한 모델이 아니라, 남들이 못 가진 데이터에 있습니다.