[Feature] Add CI benchmarks to compare vector index PRs with their base
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 38/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- github-actions, rust
- Área
- ci-cd, performance, testing
Línea de trabajo
Lee primero el issue de implementación #95 y luego localiza el workflow de CI existente y el controlador de benchmarks. Verifica que una carga de trabajo reproducible con caché caliente que cubra IVF-FLAT, IVF-SQ, IVF-PQ, IVF-RQ y DiskANN compare ambas revisiones en el mismo runner, publique el recall y el rendimiento en el resumen de Actions, conserve las muestras sin procesar, use umbrales informativos y actualice el comentario del PR cuando esté permitido.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Vector index changes can affect query throughput or recall without failing correctness tests. Reviewers currently need to run benchmarks manually to compare a PR with its base revision.
Add a lightweight CI benchmark that compares both revisions on the same runner with the same workload and benchmark driver. The report should make recall and query-throughput changes easy to scan, retain raw samples for investigation, and use advisory thresholds rather than fail CI on noisy timing differences.
The initial scope is a small, repeatable warm-cache workload covering IVF-FLAT, IVF-SQ, IVF-PQ, IVF-RQ and DiskANN. Results should be available in the Actions summary, with an updated PR comment where token permissions allow it.
Implementation: #95.
- Lenguaje dominante
- Rust
- Estrellas
- 25
- Forks
- 24
- Merge medio
- 3 d 6 h
- PR fusionados (30 d)
- 5
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de apache/paimon-vector-index
-
Add optional GPU acceleration for IVF-SQ training and constructionPosiblemente ocupada @TheR1sing3un la tomó hace 38 días. Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
apache/paimon-vector-index#100 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
apache/paimon-vector-index#97 · 2 comentarios ·
-
Support reusing a training result across multiple vector index writersPosiblemente ocupada @wangzhigang1999 la tomó hace 47 días. Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 45/100
Todos los issues de apache/paimon-vector-index
Issues similares
-
`image_generation`: `max_retries` is ignored for OpenAI-compatible providers (always 2 retries)Posiblemente ocupada @ericz7900 la tomó hoy. Abiertollm translation
Dificultad 2/5 1-3 horas Aptitud para principiantes 77/100
Los mantenedores suelen responder en 1 día
-
[Package Request]: LificAbiertoHelp-Wanted Needs-Triage Package-Request
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
microsoft/winget-pkgs#456324 ·
Los mantenedores suelen responder en 1 día
-
ai_p2
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
ClickHouse/ClickHouse#126833 ·
Los mantenedores suelen responder en 1 día
-
enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
area/runtime good first issue size/S type/refactor
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
lorica-labs/volant#681 ·
Los mantenedores suelen responder en 1 día