NTT, 적은 데이터로 업무 전문 LLM 만드는 기술 발표…정답률 83.1%

일본 NTT는 2026년 11월 12일 기업의 업무 매뉴얼에 담긴 지식을 대규모 언어 모델(LLM)에 익히게 하는 새로운 튜닝(tuning) 기술을 개발했다고 발표했다. NTT의 보도자료에 따르면, 이 방법은 LLM이 스스로 여러 관점에서 학습 데이터를 만들어 내기 때문에 방대한 문서를 모으지 않고도 업무 고유의 지식을 갖춘 전용 LLM을 만들 수 있다. AI Watch는 NTT가 자체 개발한 모델 tsuzumi 2로 검증한 결과 정답률이 83.1%에 달했다고 전했다.

기존 튜닝은 왜 기업의 적은 데이터에서 어려웠을까

튜닝은 이미 만들어진 LLM을 특정 용도나 작업에 맞게 조정하는 일을 말한다. INTERNET Watch에 따르면 모델에 업무 전반의 지식을 외우게 하려면 지금까지 극도로 방대한 데이터가 필요했고, 기업이 가진 문서량은 학습 데이터로서 압도적으로 부족했다. NTT 보도자료는 A4 용지 한 장 분량의 텍스트가 수 킬로바이트인 데 비해, 모델 전체를 다시 학습시키는 일반적인 방법에는 수십 기가바이트를 넘는 데이터가 쓰인다고 설명한다.

AI Watch는 개별 기업이 실무에서 보유한 자료가 PDF로 약 1,000건, 페이지 수로는 최대 100쪽 정도에 그친다고 전했다. 이 매체는 이렇게 적은 문서를 그대로 반복해서 학습시키면 과적합이 생긴다고 설명한다. 조문 번호나 특정 표현에만 지나치게 맞춰져, 맥락을 바꾼 질문에는 답하지 못하게 된다는 것이다. NTT는 인터넷에서 비슷한 정보를 모아 보충하려 해도 업무와 무관한 잡음이 섞이기 쉽고 고품질 데이터셋을 갖추기 어렵다고 덧붙였다.

LLM은 업무 매뉴얼로 어떻게 스스로 교재를 만들까

NTT가 주목한 것은 사람이 학교 교육에서 다양한 교재로 이해를 깊게 하는 과정이다. 보도자료에 따르면 국어 수업에서는 글을 읽는 데 그치지 않고 저자의 의도를 묻는 문제를 풀거나 학생끼리 감상을 나누며 배움을 깊게 한다. 이 기술은 같은 발상으로, LLM 스스로 학습 교재 제작자가 되어 업무 매뉴얼에서 다양한 학습 데이터를 만들고 이를 자신의 학습에 쓴다.

AI Watch는 구체적인 생성 형식으로 세 가지를 들었다.

• FAQ 형식: 매뉴얼의 기재 사항을 실무상 문의를 가정한 질문과 답변으로 재구성한다.
• 표 형식: 여러 조건이나 기간을 정리해 구조화한다.
• 대화 형식: 학생과 교사의 대화를 통해 업무의 배경과 의도를 파고든다.

AI Watch에 따르면 데이터 생성 엔진에도 tsuzumi가 쓰이며, 소량의 원본 데이터에서 수십억에서 100억 토큰 규모의 학습 데이터를 만든다. 토큰은 LLM이 문장을 처리하는 최소 단위다. NTT는 이 기술이 tsuzumi뿐 아니라 다른 LLM에도 적용할 수 있다고 밝혔다.

정답률 83.1%는 얼마나 믿을 수 있을까

NTT는 실제 업무 매뉴얼로 지식이 얼마나 자리 잡았는지 측정했다. 매뉴얼 기재 범위에서 문제를 만들어 LLM이 풀게 하고 정답률을 비교한 것이다. 보도자료에 따르면 tsuzumi 2의 학습 전 정답률은 65.3%였고, 문장을 다른 관점으로 바꿔 쓰는 선행 연구 방식은 최대 73.3%에 그쳤으나, 이번 기술은 83.1%를 기록했다. 선행 연구보다 10포인트 가까이 높다.

더 가벼운 모델도 평가했다. AI Watch에 따르면 Llama 3(3B)는 학습 전 약 25%에서 50%대 후반으로 올랐고 기존 방식을 꾸준히 웃돌았다. 같은 매체는 전문 지식을 넣어도 일반 영역 벤치마크에서 모델의 기본 능력이 떨어지지 않았다고 전했다. 다만 평가에 쓴 객관식 문제는 NTT가 직접 만든 것이다. AI Watch는 개별 기업의 고유 지식을 재는 공통 벤치마크가 없기 때문이라고 설명한다. 따라서 이 수치는 NTT 자체 검증 결과이며, 읽은 기사의 범위에서는 제3자의 재현은 확인되지 않는다.

RAG와는 어떻게 나누어 쓰나

사내 문서를 활용하는 방법으로는 관련 부분을 검색해 답을 만드는 검색 증강 생성(RAG)이 널리 쓰인다. AI Watch는 NTT 담당자의 견해를 전했다. 절대적인 정확성이 최우선인 곳에서는 RAG를 권하지만, 콘택트센터에서 쏟아지는 통화 음성을 실시간으로 분석하는 것처럼 매우 빠른 응답이 필요한 업무에서는 외부 검색을 거치는 RAG가 지연이 크고 여러 모델과 GPU를 병렬로 준비해야 해 운영 비용이 오른다는 것이다. 모델에 지식을 직접 익혀 두면 외부 검색 없이 빠르게 추론할 수 있고 GPU 대수도 줄일 수 있다.

같은 기사에 따르면 이 기술은 RAG를 배제하지 않고 함께 쓸 수 있다. 모델이 업계와 사내의 전제 지식을 갖추면 RAG의 검색 정확도 자체도 높아진다고 한다. 주된 대상 분야로는 일본 특유의 규칙과 절차가 엄격한 의료와 금융, 사내 전문 용어가 많은 제조업이 꼽혔다.

제공 일정은 언제이고 한국 기업에는 무엇이 달라지나

보도자료에 따르면 이 기술은 NTT 그룹 각사에 도입될 예정이다. AI Watch는 GPU가 필요한 학습을 NTT 그룹의 데이터센터에서 처리하고 조정한 모델을 고객에게 돌려주는 클라우드형 관리 서비스 등을 염두에 두고 검증을 진행 중이라고 전했다. 읽은 기사에는 가격과 출시 시기가 나와 있지 않다. 성과는 11월 18일부터 25일까지 도쿄도 무사시노시의 NTT 무사시노 연구개발센터에서 열리는 NTT R&D FORUM 2026에서 전시되며, AI Watch에 따르면 이 자리에서 '자기 진화형 tsuzumi' 구상도 공개된다.

한국 기업에 주는 시사점은 주로 방법론이다. 업무 자료가 1,000건 안팎이라도, 모델이 스스로 질의응답과 표, 대화를 교재로 만들어 학습하게 하면 데이터가 부족해 포기했던 전용 모델을 검토해 볼 여지가 생길 수 있다. 읽은 기사에는 일본 밖에서의 제공 여부가 언급되지 않았고 성과도 NTT 자체 결과이므로, 먼저 자사 문서와 자사 질문으로 정답률을 재 보고 RAG와 튜닝 모델의 역할 분담을 정하는 것이 현실적이다.