kvcache-ai/Mooncake

[TE] Refactor: unify libfabric-based transports (EFA / CXI) shared infrastructure

Aberta

#2.657 aberto em 29 de jun. de 2026

Ver no GitHubGuia do colaborador
 (3 comentários) (0 reação) (0 responsável)C++ (803 forks)auto 404
good first issue

Métricas do repositório

Stars
 (5.470 estrelas)
Métricas de merge de PR
 (Mesclagem média 4d 6h) (224 fundiu PRs em 30d)

Description

Background

With #2535 (CXI backend) merged, we now have two transports built on libfabric that share significant structural overlap but are implemented as independent forks. This was the pragmatic choice for initial integration (see discussion in #2535), but leaves maintenance debt.

Scope

  1. Topology — CXI currently reuses InfiniBand device discovery paths in topology.cpp. CXI is not IB; it should have its own topology functions or a shared libfabric_topology abstraction (ref: @alogfans' comment).

  2. Shared base class or utilities — Extract common libfabric patterns (endpoint management, CQ polling, MR registration, error handling) into a shared layer that both EFA and CXI can consume, reducing duplicated code.

  3. mr_key_t consolidation — The current #if defined(USE_EFA) || defined(USE_CXI) guards work but will grow unwieldy if more libfabric providers are added. Consider a compile-time or runtime abstraction.

Non-goals

  • Changing the public API or metadata wire format
  • Merging EFA and CXI into a single transport (they have meaningful behavioral differences in MR handling and transfer semantics)

References

  • #2535 — CXI backend PR
  • #2564 — 64-bit MR key fix

Guia do colaborador

Direção de pesquisa
Estude as implementações dos transportes EFA e CXI, identifique padrões de código duplicados e projete uma classe base compartilhada ou camada de utilitários para funcionalidades comuns do libfabric (gerenciamento de endpoints, polling CQ, registro MR, tratamento de erros).
Pilha de tecnologia
cpp
Domain
backendinfrastructure
Tipo Issue
Refatoração
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
4
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
3-5 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
C++libfabricGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
20