[Feature] Add CI benchmarks to compare vector index PRs with their base

未关闭
  • 哪里不对？
#96 0 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看

@wangzhigang1999 已经在做这个了。

开始于 2026年9月7日。

  • #95 来自 @wangzhigang1999 —— 未关闭

评估

难度
4/5
预计耗时
3-5 天
新手友好度
38/100
Issue 类型
功能
描述清晰度
基本清楚
活跃度
活跃
技术栈
github-actions, rust
领域
ci-cd, performance, testing

调研方向

先阅读实现 issue #95，然后定位现有的 CI workflow 和 benchmark driver。验证覆盖 IVF-FLAT、IVF-SQ、IVF-PQ、IVF-RQ 和 DiskANN 的可重复 warm-cache workload 是否在同一个 runner 上比较两个 revision，在 Actions summary 中发布 recall 和 throughput，保留原始样本，使用建议性阈值，并在允许时更新 PR comment。

由索引模型根据 Issue 内容生成。

描述

Vector index changes can affect query throughput or recall without failing correctness tests. Reviewers currently need to run benchmarks manually to compare a PR with its base revision.

Add a lightweight CI benchmark that compares both revisions on the same runner with the same workload and benchmark driver. The report should make recall and query-throughput changes easy to scan, retain raw samples for investigation, and use advisory thresholds rather than fail CI on noisy timing differences.

The initial scope is a small, repeatable warm-cache workload covering IVF-FLAT, IVF-SQ, IVF-PQ, IVF-RQ and DiskANN. Results should be available in the Actions summary, with an updated PR comment where token permissions allow it.

Implementation: #95.

主要语言
Rust
星标
25
派生
24
平均合并
1 小时 45 分钟
30 天内合并 PR
2

环境准备

  • 没有 Dockerfile 或 Docker Compose 文件
  • 没有 Pull Request 模板
  • 阅读贡献指南

从这里开始

  1. 先读完整个 Issue，再读项目的贡献指南。
  2. 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
  3. Fork 仓库，在一个分支上完成修改。
  4. 提交 Pull Request，并在描述里引用这个 Issue 编号。

apache/paimon-vector-index 的其他 Issue

查看 apache/paimon-vector-index 的全部 Issue

相似的 Issue

更多 Rust Issue

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。