메타 AI, 80억 파라미터 모델을 클로드 오퍼스 4.5급으로 만든 '에보하네스-RL' 공개

메타(Meta) AI와 미국 일리노이대학교 어배너-섐페인(UIUC) 연구진이 강화학습 기반 에이전트 훈련 기법 '에보하네스-RL(EvoHarness-RL)'을 공개했다. AI타임스가 8월 29일 보도한 바에 따르면, 연구진은 오픈소스 모델 큐웬3-8B(Qwen3-8B, 파라미터 80억 개)에 이 기법을 적용해, 순차적 다단계 작업을 평가하는 벤치마크 ALFWorld에서 96.9%의 성공률을 이끌어냈다. 이는 앤트로픽의 최상위 모델 클로드 오퍼스 4.5가 기본 리액트(ReAct) 방식으로 기록한 96.4%를 웃도는 수치이자, 큐웬3-8B 자신의 기본 리액트 성능(47.9%) 대비 49.0%포인트 상승한 결과다. 같은 날 미국 매체 벤처비트도 이 연구를 별도로 보도하며, 오픈AI의 GPT-4.1과 GPT-5 역시 재훈련 없이 같은 기법을 프롬프트 시점에서만 적용해도 각각 22.1%포인트, 25.7%포인트 성능이 향상됐다고 전했다.

BPE, 에이전트의 '신념·진행·경험'을 세 갈래로 나누다

에보하네스-RL의 핵심은 'BPE(Belief-Progress-Experience, 신념·진행·경험)'라는 상태 추상화다. 신념은 에이전트가 현재 환경에 대해 파악하고 있는 정보, 진행은 완료한 하위 목표와 남은 작업, 경험은 과거 작업에서 얻은 기술·실패 사례·검색 우선순위를 각각 가리킨다. 에이전트는 이 세 상태를 다루기 위해 트랙(현재 상태 확인)·커밋(진행 상황 기록)·리콜(과거 경험 검색)·노트(새 정보 기록)라는 네 가지 메타 행동만을 사용한다. 연구진은 기존의 외부 메모리·도구 활용 방식이 사람이 미리 정해둔 규칙을 그대로 따르는 수동적 구조였다면, BPE는 에이전트가 언제 무엇을 기록하고 언제 과거 경험을 불러올지 스스로 판단하도록 학습시키는 능동적 구조라고 설명했다.

학습은 2단계: 지도학습(SFT) 다음 강화학습(GRPO)

훈련은 두 단계로 이뤄진다. 1단계 지도학습(SFT)에서 큐웬3-8B는 BPE의 의미와 네 가지 메타 행동의 사용법을 먼저 익힌다. 2단계 강화학습에서는 '비용을 고려한 그룹 상대 정책 최적화(cost-aware GRPO)'를 적용해, 하네스를 호출하는 행동 자체가 실제로 작업 성공에 기여하는지를 모델이 직접 판단하도록 학습시킨다. 벤처비트에 따르면 연구 공동저자 쉬잉 닝(Xuying Ning)은 '최적의 하네스는 모델마다 달라진다'며, '이어붙이기만 하는 메모리는 더 많은 맥락이 항상 도움이 된다고 전제하지만, 그 전제는 반드시 참은 아니다'라고 지적했다. 실제로 연구진이 경험(Experience) 요소를 제거하고 실험했을 때, 평균 성공률은 48.6%까지 떨어져 세 요소 중 가장 큰 영향을 미치는 것으로 나타났다.

• 리액트(ReAct) 기본: 47.9%
• 추론 시점 BPE 적용(재훈련 없음): 56.4%
• 지도학습(SFT) 적용: 68.6%
• 지도학습+강화학습(에보하네스-RL, 최종): 96.9%
• 클로드 오퍼스 4.5 — 기본 리액트 96.4%, BPE 적용 시 98.5%(+2.1%포인트)
• GPT-4.1 — 47.9%→70.0%(BPE 추론 적용, +22.1%포인트)
• GPT-5 — 60.7%→85.0%(BPE 추론 적용, +25.7%포인트)
• 비교 모델 — 스킬RL 89.9%, 스킬OS 80.2%

낯선 환경에서도 통했다…하네스 어닐링 현상

연구진은 훈련에 사용되지 않은 새로운 ALFWorld 작업에서도 성능을 시험했다. 기본 큐웬3-8B는 50.0%에 그쳤지만, 추론 시점에만 BPE를 적용했을 때 77.6%로, 에보하네스-RL을 완전히 적용했을 때는 86.6%로 올라갔다. 훈련 과정에서는 '하네스 어닐링(harness annealing)'이라 부르는 현상도 관찰됐다. 학습 초기에는 에이전트가 거의 모든 단계에서 외부 하네스를 호출했지만, 훈련이 진행되면서 반복적인 작업 방식이 모델 내부에 자리 잡아 하네스 호출 빈도가 급격히 줄었고, 최종적으로는 에피소드당 평균 1회 수준으로 안정됐다. 경험 저장소 역시 초기에는 다양한 기술과 실수 사례를 빠르게 쌓다가, 이후에는 중복 정보를 통합하고 활용도가 낮은 기술을 스스로 정리해 정보를 계속 쌓아 올리는 대신 핵심 정보만 유지하는 방향으로 진화했다. 연구진이 제시한 사례에서는, 주전자를 찾던 에이전트가 조리대 위치에 대한 과거 기록이 현재 환경과 어긋나자 '기존 정보가 틀렸다'는 새 메모를 남겨 스스로 오류를 정정하기도 했다.

소프트웨어 개발부터 금융 컴플라이언스까지

연구진은 이 구조가 게임 환경을 넘어 실제 업무에도 적용 가능하다고 제안했다. 소프트웨어 개발에서는 신념이 코드베이스와 구성요소의 현재 상태, 진행이 완료된 작업·테스트·의존성, 경험이 과거 해결 방법과 오류 사례에 대응한다. 금융·컴플라이언스 업무에서는 신념이 적용 규정과 근거자료, 진행이 완료된 점검과 미해결 예외사항, 경험이 반복되는 문제와 과거 대응 방식에 각각 대응한다. 연구진은 '환경 어댑터'를 통해 조직마다 서로 다른 내부 도구와 상태 관리 방식을 그대로 유지하면서도, BPE라는 학습 가능한 조정 계층을 추가할 수 있다고 설명했다. 즉 기존에 쓰던 도구나 프레임워크 전체를 교체할 필요가 없다는 뜻이다. 해당 연구는 논문 사전공개 사이트 아카이브(arXiv:2608.05446v1)에 게재됐다.

이번 결과가 한국 기업에 갖는 의미는 크다. 그동안 복잡한 다단계 에이전트 작업을 안정적으로 처리하려면 클로드나 GPT 계열 같은 고가의 프런티어 모델 API를 쓰는 것이 사실상 유일한 선택지로 여겨졌다. 하지만 80억 파라미터급의 오픈소스 모델도 메모리·도구 활용 구조를 정교하게 설계하면 프런티어 모델과 맞먹는 성능을 낼 수 있다는 사실이 확인되면서, 국내 스타트업과 기업들도 자체 서버에서 돌릴 수 있는 소형 모델로 에이전트 서비스를 구축할 여지가 커졌다. 다만 이는 특정 벤치마크(ALFWorld)와 특정 조건에서 나온 결과이며, 실제 상용 서비스로 이어지려면 추가 검증이 필요하다.