파라미터를 얼린 채 스스로 진화하는 세계모델, 추론 시점 기억 수정으로 에이전트 계획 강화

긴 호흡의 과제를 수행하는 LLM 에이전트에게 가장 부족한 능력 중 하나는 행동의 결과를 미리 내다보는 일이다. 사람은 문을 열기 전에 그 안에 무엇이 있을지 어렴풋이 그려 보고, 서랍을 당기기 전에 그 안의 물건을 짐작한다. 세계모델은 바로 이 예지를 에이전트에게 부여하려는 시도다. 어떤 행동을 실제로 실행하기 전에 그 결과를 예측해 두면, 에이전트는 막다른 길로 들어서기 전에 경로를 바꿀 수 있다. 그러나 싱가포르경영대학과 싱가포르국립대학 연구진이 내놓은 WorldEvolver는 이 그럴듯한 전제에 한 가지 불편한 진실을 들이댄다. 예측이 틀리면 그 예지는 차라리 없느니만 못하다는 것이다.

예측이 신뢰를 잃을 때

세계모델 연구의 통념은 더 정확한 예측이 곧 더 나은 계획으로 이어진다는 것이었다. 하지만 현실의 에이전트는 그렇게 단순하게 움직이지 않는다. 신뢰할 수 없는 예측은 세 가지 방식으로 의사결정을 망친다. 에이전트가 그것을 아예 무시해 버리거나, 잘못 받아들여 엉뚱한 행동을 하거나, 혹은 틀린 정보를 추론 맥락에 끌어들여 멀쩡하던 판단까지 흐트러뜨리는 것이다. 다시 말해 문제의 핵심은 세계모델이 예측을 할 수 있느냐가 아니라, 그 예측이 행동의 근거로 삼을 만큼 믿을 수 있느냐에 있다. WorldEvolver는 이 지점을 정면으로 겨눈다.

파라미터를 얼린 채 진화하는 세계모델

이 연구가 흥미로운 이유는 개선의 방식에 있다. 보통 모델을 더 똑똑하게 만들려면 재학습이나 미세조정을 떠올리지만, WorldEvolver는 다운스트림 에이전트는 물론 세계모델 자체의 파라미터까지 모두 동결한 상태로 둔다. 대신 배치 시점의 맥락, 즉 모델이 참조하는 기억을 실시간으로 고쳐 나간다. 여기에는 세 개의 모듈이 맞물려 작동한다. 에피소드 기억은 실제로 일어난 행동과 결과의 전이를 저장해 두었다가 비슷한 상황에서 검색해 시뮬레이션의 재료로 삼는다. 의미 기억은 예측과 실제 관찰이 어긋난 사례에서 지속적으로 통하는 휴리스틱 규칙을 추출해 둔다. 선택적 예지는 확신이 낮은 예측을 추론 맥락에 넣기 전에 걸러 낸다. 결국 모델은 자신의 실패에서 배우되, 가중치를 바꾸는 대신 무엇을 기억하고 무엇을 흘려보낼지를 바꾸며 진화한다.

신중한 예지가 더 나은 계획을 만든다

연구진은 ALFWorld와 ScienceWorld라는 두 환경에서 이 틀을 검증했다. 세계모델의 예측 정확도는 Word2World로, 에이전트의 최종 과제 성공률은 AgentBoard로 측정했다. 세 종류의 백본 모델 모두에서 WorldEvolver가 가장 높은 예측 정확도를 기록했고, 다른 세계모델 기반 방법들을 누르고 다운스트림 성공률에서도 앞섰다. 이 결과가 시사하는 바는 단순한 점수 이상의 것이다. 값비싼 재학습 없이, 모델 종류를 가리지 않고, 추론 시점의 기억 수정만으로 예측의 충실도와 계획 성능을 동시에 끌어올릴 수 있다는 뜻이기 때문이다. 에이전트가 점점 길고 복잡한 과제를 맡게 되는 흐름 속에서, 자신의 오류를 기억으로 소화해 스스로를 다듬는 세계모델은 비용 대비 효율이 큰 진화 경로를 제시한다. 정확한 예측보다 신중한 예측이, 때로는 더 나은 계획을 만든다.