긴 컨텍스트로도 안 되는 것: LLM의 믿음 수정

Hugging Face 블로그의 Rahul Vimalkanth와 Tanish Chudiwal은 LLM 메모리 논의에서 흔히 섞이는 두 동작, 즉 과거 정보에 '접근 유지'하는 일과 그 의미를 '수정'하는 일을 구분한다. 새 관측이 기존 상태에 무엇을 하는지를 뜻하는 '업데이트 의미론'을 비교 기준으로 제안한다.

"Retaining access to the past is not necessarily the same operation as revising it."Hugging Face Blog (Vimalkanth, Chudiwal)

왜 중요한가

글은 선형 어텐션 같은 덧셈식 연관 메모리를 분석한다. 키가 서로 직교하거나 안정적인 측정이 반복될 때는 단순 누적도 잘 동작하지만, 같은 키에 모순되는 값이 들어오면 교체가 아니라 옛 값과 새 값이 섞인 결과가 나온다. 컨텍스트 창을 늘리거나 검색을 붙여도 '무엇이 최신 사실인가'가 자동으로 정리되지는 않는다는 뜻이다.

실무 적용

에이전트나 챗봇에 장기 기억을 붙일 때 저장·검색 품질만 보지 말고, 정보가 바뀌었을 때의 처리 규칙을 따로 설계해야 한다. 가격·정책·고객 상태처럼 바뀌는 사실에는 타임스탬프와 '대체' 규칙을 두고, 변경 시나리오를 테스트 케이스로 넣어 두면 좋다.

교차 참고

• Hugging Face (IBM Granite): Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint — 채팅·판단·음성을 한 엔드포인트에서 묶는 8B·30B 모델
• Hugging Face: A curriculum for post-training agents — 에이전트 후속 학습을 단계별로 정리한 글

Wemeet의 관점

많은 팀이 "컨텍스트가 길어졌으니 기억 문제는 끝났다"고 판단하지만, 고객 응대처럼 사실이 계속 바뀌는 업무에서는 오래된 정보가 조용히 섞이는 쪽이 더 위험하다. 기억 기능을 도입하기 전에 '무엇을 언제 덮어쓸 것인가'부터 정의하는 것이 우리가 권하는 순서다.