Linkup publica SPARSEUP, modelo aberto de recuperação esparsa com 149 M de parâmetros sob Apache 2.0

Apresentando o SPARSEUP: Um Modelo de Recuperação Esparsa de Código Aberto

A Linkup Research disponibilizou o SPARSEUP publicamente sob a licença Apache 2.0, e os pesos do modelo foram carregados na plataforma Hugging Face. Esta publicação representa um passo notável rumo ao desenvolvimento transparente e conduzido pela comunidade de técnicas de recuperação esparsa, já que o código‑fonte e os parâmetros podem ser inspeccionados, modificados e redistribuídos sem restrições de licenciamento.

A arquitetura do SPARSEUP baseia‑se num backbone ModernBERT que contém 149 milhões de parâmetros. Ao contrário dos recuperadores densos convencionais, que geram um único vetor denso por documento, o SPARSEUP produz um vetor esparso em que cada dimensão está diretamente ligada a um token do vocabulário do modelo. Consequentemente, a representação preserva uma interpretação linguística clara, pois cada entrada não‑zero indica a presença ou relevância de um token específico.

A estratégia de inicialização segue um processo de duas fases. Primeiro, o modelo herda pesos do checkpoint LateOn‑unsupervised, um predecessor que já incorpora pré‑treinamento não supervisionado em grandes corpora. Segundo, o SPARSEUP passa por um ajuste fino contrastivo usando a mistura de dados LightOn de código aberto. Durante esta fase, cada consulta é emparelhada com um documento positivo e sete negativos difíceis que são selecionados a partir de um conjunto de cinquenta candidatos, designado para aguçar a capacidade discriminativa do modelo.

Mecanismos de Controle da Esparsidade

Três mecanismos explícitos regulam a esparsidade dos vetores de saída. O primeiro mecanismo adiciona um deslocamento constante de 15 aos logits antes de aplicar o softmax, empurrando efetivamente muitas pontuações de token para abaixo do limiar de ativação. O segundo mecanismo limita o número de dimensões ativas por posição de token a doze, garantindo que nenhuma posição única contribua com um número excessivo de entradas não‑zero. O terceiro mecanismo funde variantes de maiúsculas/minúsculas e espaços, colapsando tokens que diferem apenas em capitalização ou espaçamento numa única dimensão. Em conjunto, esses controlos moldam uma representação que é simultaneamente interpretável e computacionalmente eficiente.

O tamanho do vocabulário sofre uma redução como parte da fusão de maiúsculas/minúsculas e espaçamento. Partindo de um conjunto aproximado de 50 000 tokens, o processo de fusão resulta numa dimensionalidade final de cerca de 34 000. Esta redução influencia diretamente o custo de armazenamento e indexação dos vetores esparsos, ao mesmo tempo que preserva as distinções lexicais essenciais necessárias para a recuperação.

Desempenho em Benchmarks Standard

A Linkup relata um Discounted Cumulative Gain normalizado na posição 10 (nDCG@10) de 56,4 na coleção BEIR‑13, excluindo o subconjunto MS MARCO. Segundo os autores, este valor constitui o melhor resultado publicamente divulgado para qualquer modelo com menos de 150 milhões de parâmetros dentro desta categoria de benchmark. A métrica é apresentada como resultado direto do protocolo de avaliação aplicado às consultas de teste padrão do BEIR.

Ao comparar o SPARSEUP com linhas de base densas e de interação tardia que partilham uma fundação de dados e tamanho de backbone semelhantes, os escores reportados indicam que o SPARSEUP não supera as abordagens densas líderes. Especificamente, a configuração DenseOn atinge 57,9 nDCG@10, enquanto a configuração LateOn alcança 58,9 no mesmo benchmark. Estes números, citados pela Linkup, ilustram uma lacuna de desempenho que persiste apesar do design focado em esparsidade.

A lacuna sugere que, sob condições de treino comparáveis, as representações densas podem manter uma vantagem na captura de semelhanças semânticas subtis. Contudo, o modelo esparso oferece trocas distintas, como tamanho de índice reduzido e potencialmente recuperação mais rápida, o que pode ser valioso em cenários onde as restrições de recursos dominam as escolhas de design.

Velocidade e Recall com o Índice Sísmico

A Linkup introduz uma estrutura de indexação denominada Seismic, otimizada para vetores esparsos. Usando este índice, a empresa afirma que o SPARSEUP atinge um recall superior a 97 % em relação à pesquisa exata no conjunto de dados MS MARCO, processando cada consulta em aproximadamente 380 microssegundos. Estes números são apresentados como medições empíricas obtidas no conjunto de teste MS MARCO.

Os autores observam explicitamente que os valores de latência e recall reportados devem ser reproduzidos pelos utilizadores finais nos seus próprios dados. Esta ressalva reconhece que o desempenho observado pode depender de fatores como configuração de hardware, distribuição de consultas e características do conjunto de dados, e por isso não pode ser assumido como generalizável sem verificação.

• A licença Apache 2.0 garante redistribuição livre
• Backbone ModernBERT de 149 M de parâmetros
• Treino contrastivo com sete negativos difíceis de cinquenta candidatos
• Três controlos de esparsidade: deslocamento de logits, limite por posição, fusão de maiúsculas/minúsculas e espaçamento

A lista acima resume as escolhas técnicas centrais que diferenciam o SPARSEUP de outros modelos de recuperação. Cada elemento reflete uma decisão de design que influencia diretamente a acessibilidade legal, a capacidade do modelo, a dinâmica de treino ou as características de esparsidade da representação final.

De uma perspetiva metodológica, a dependência de um número fixo de negativos difíceis introduz um nível controlado de dificuldade durante o aprendizado contrastivo. Contudo, como os negativos são extraídos de um pool limitado a cinquenta, a diversidade de exemplos desafiadores pode ser restringida, potencialmente limitando a capacidade do modelo de generalizar para pares de consulta‑documento nunca vistos.

Os mecanismos de esparsidade, embora eficazes na redução da dimensionalidade, impõem limiares rígidos que podem descartar sinais informativos. O deslocamento de logits de 15, por exemplo, empurra muitas pontuações de token para baixo da ativação, o que pode melhorar a eficiência mas corre o risco de suprimir pistas lexicais subtis relevantes para certas consultas.

A redução de aproximadamente 50 k para 34 k dimensões através da fusão de maiúsculas/minúsculas e espaçamento simplifica o índice, mas também funde tokens que poderiam carregar peso semântico distinto em línguas com significados sensíveis a maiúsculas. Esta troca ilustra a tensão entre compressão e fidelidade linguística inerente aos projetos de recuperação esparsa.

Perguntas abertas permanecem quanto à escalabilidade do SPARSEUP para vocabulários maiores ou contextos multilingues. A configuração atual opera sobre um conjunto de tokens monolíngue; expandir a abordagem exigiria reavaliar os controlos de esparsidade para evitar um crescimento excessivo da dimensionalidade.

Outra área para investigação futura diz respeito à interação entre representações esparsas e pipelines de recuperação híbridos. É concebível que a combinação de vetores SPARSEUP com embeddings densos possa captar aspetos complementares de relevância, embora a estratégia de integração precisa ser validada empiricamente.

Em resumo, o SPARSEUP oferece um modelo de recuperação esparsa transparente e de código aberto que alcança recall competitivo e baixa latência sob o índice Seismic, ao mesmo tempo que entrega um score de benchmark respeitável, embora não líder, dentro do regime de menos de 150 M de parâmetros. As escolhas de design do modelo destacam o equilíbrio entre interpretabilidade, eficiência e eficácia de recuperação, e abrem várias vias para pesquisas adicionais sobre recuperação de informação impulsionada por esparsidade.