Vals, 4천만 달러 시리즈 A 유치…실제 과제 기반 AI 벤치마크 도입

Vals는 AI 벤치마킹을 재정의하기 위해 4천만 달러 규모의 시리즈 A 라운드를 확보

2024년 초, Vals는 4천만 달러를 모금한 시리즈 A 투자 라운드의 마감을 발표했습니다. 이 라운드는 Andreessen Horowitz가 주도했으며, 이전에 8VC와 Bloomberg Beta가 조직한 시드 라운드에 이어 진행되었습니다. 이번 자본 투입은 몇 달 전만에 설립된 기업에게 중요한 이정표가 되며, 인공지능 시스템의 평가 방식을 근본적으로 바꾸려는 기업의 야심을 뒷받침하는 재정적 기반을 제공합니다.

Vals가 자금을 모은 근본적인 동기는 기업이 "구식 공개 벤치마크"라고 부르는 기존 평가 방식을 새로운 유형의 평가로 대체하려는 데 있습니다. Vals에 따르면 현재 존재하는 많은 벤치마크는 데이터 오염 문제를 안고 있는데, 이는 평가에 사용되는 데이터셋이 이미 주요 모델들의 학습 파이프라인에 포함되어 있을 가능성을 의미합니다. 평가 자료를 비밀로 유지함으로써 Vals는 이러한 누수를 차단하고 모델의 실제 역량을 보다 명확하게 파악할 수 있는 테스트 환경을 만들고자 합니다.

추상 시험에서 실제 과제로

Vals의 설립자 Rayan Krishnan은 의미 있는 벤치마크가 무엇인지를 구체적으로 정의하는 철학을 제시했습니다. 그는 벤치마크가 추상적인 객관식 시험을 통과하는 것이 아니라, 구체적인 분야에서 인간 수준의 품질을 생산할 수 있는지를 검증해야 한다고 주장합니다. 이러한 관점은 Vals가 현재 측정하고 있는 과제 카테고리 선택에 반영되어 있으며, 여기에는 법률, 금융, 프로그래밍, 사이버 보안, 정신 건강, 생물 안전, 그리고 전쟁법이 포함됩니다.

각 분야는 각각 고유한 전문 표준과 규제 체계를 가지고 있습니다. Vals는 법률 논증 작성, 금융 위험 분석 수행, 프로덕션 수준의 코드 작성, 사이버 위협 식별, 정신 건강 상담 스크립트 제공, 생물 안전 프로토콜 평가, 전쟁법 해석과 같은 과제에 집중함으로써 최종 사용자와 이해관계자에게 직접적으로 관련된 성과 차원을 포착하려 합니다.

비즈니스 모델과 시장 채택

Vals는 AI 모델 개발자가 자체 시스템을 자사의 독점 과제에 대해 평가받기 위해 비용을 지불하는 B2B(기업 간) 모델을 운영합니다. 평가 결과는 잠재 구매자에게 제공되어 실제 적용 환경에서 중요한 기준에 따라 경쟁 시스템을 비교하는 데 활용됩니다. 이러한 양면 시장 구조는 모델 제공자가 Vals의 과제에서 역량을 입증하도록 장려하면서 구매자에게는 보다 정교한 의사결정 도구를 제공합니다.

회사에 따르면 지난 1년 동안 매출이 8배 성장했으며, 이는 고객 기반이 급속히 확대된 것과 일치합니다. 동시에 직원 수는 8명에서 25명으로 늘었고, 가까운 시일 내에 추가로 10~15명을 채용할 계획을 발표했습니다. 이러한 수치는 자본 유입, 평가 서비스 채택, 조직 성장 사이의 상관관계를 시사합니다.

Vals의 평가를 초기 도입한 고객 중에는 미국 연방 기관이 포함됩니다. 이 기관들을 위해 전용 평가 프로그램을 시작했으며, 이는 해당 방법론이 공식 조달 및 규정 준수 맥락에서 고려되고 있음을 나타냅니다. 이 흐름은 정부 차원에서 표준화된 과제 기반 AI 성능 지표에 대한 관심이 확대될 가능성을 시사합니다.

투명성, 독립성 및 재현성

Vals는 평가 결과와 근본적인 방법론을 공개 웹사이트에 게시합니다. 이 접근 방식은 점수가 어떻게 산출되는지에 대한 가시성을 제공하고 외부 당사자가 프로세스를 검토할 수 있게 합니다. 그러나 평가 비용을 제공하는 주체가 동시에 평가 대상이 되기 때문에 기업의 독립성은 여전히 검토가 필요합니다.

잠재적 이해 충돌은 모델 개발자가 Vals에 테스트 비용을 지불한다는 사실에서 비롯됩니다. 이는 결과의 공정성에 대한 인식을 영향을 미칠 수 있습니다. Vals는 자체 방법이 견고하다고 주장하지만, 평가 자료 자체가 비밀로 유지되는 상황에서 독립 연구자가 결과를 재현할 수 있는지는 아직 미지수입니다.

• 비밀 테스트 자료는 학습 데이터 누수 위험을 감소시킴
• 수익 모델은 평가 비용을 모델 개발자에게 연결
• 결과는 구매자에게 공유돼 비교 분석에 활용
• 방법론 공개는 투명성 강화 목적

테스트 세트의 비밀 유지는 양날의 검과 같습니다. 한편으로는 알려진 데이터에 대한 과잉 적합을 방지해 평가의 무결성을 보호하지만, 다른 한편으로는 제3자 감사자가 테스트를 재현할 수 있는 능력을 제한해 보고된 점수에 대한 신뢰도에 영향을 미칠 수 있습니다.

또 다른 불확실성 영역은 Vals의 과제 스위트 확장성입니다. 현재 포함된 도메인은 광범위한 전문 활동을 포괄하지만, 교육, 교통, 환경 모니터링 등 추가 분야로 프레임워크를 확장하려면 새로운 과제 설계, 분야 전문가, 그리고 경우에 따라 별도의 비밀 유지 프로토콜이 필요할 수 있습니다.

기업의 급속한 인력 확대는 운영 모델의 지속 가능성에 대한 질문을 제기합니다. 추가로 10~15명을 채용한다는 것은 평가자, 데이터 엔지니어, 도메인 전문가가 더 필요하다는 의미이며, 이러한 전문 평가에 대한 장기적인 수요는 산업 전반이 과제 기반 벤치마킹을 얼마나 널리 채택하느냐에 달려 있습니다.

앞으로 Vals의 접근 방식은 업계 표준에 영향을 미칠 수 있습니다. 비밀 유지된 과제 지향 평가가 민간 기업과 공공 기관 모두에게 받아들여진다면, 이는 AI 시스템이 구체적인 성능 기준을 충족하도록 보장하는 미래 규제 프레임워크의 기준점이 될 가능성이 있습니다.

그럼에도 최종적인 영향력은 몇 가지 미해결 요소에 달려 있습니다. 독립 연구자가 테스트 내용에 접근하지 못한 채 결과를 검증할 수 있는가, 모델 개발자가 비밀 평가에 지속적으로 비용을 지불할 의사가 있는가, 그리고 구매자가 이러한 점수를 조달 결정에 얼마나 의존하는가가 핵심 변수입니다. 이러한 변수들이 어떻게 작용하느냐에 따라 Vals의 모델이 지배적인 패러다임이 될지, 아니면 전문화된 응용 분야에 한정된 틈새 서비스로 남을지가 결정될 것입니다.