[Bug][Testmo] Runs, milestones and automation runs: only the first 100 are collected

已關閉 適合新手
  • 哪裡不對？
#9,332 0 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視

維護者通常 2 天內回覆

@ShivamSharma43 已經在處理了。

開始於 2026年11月4日。

  • #9333 來自 @ShivamSharma43 —— 未關閉

評估

難度
2/5
預估耗時
1-3 小時
新手友好度
78/100
Issue 類型
缺陷
描述清晰度
描述清楚
活躍度
活躍
技術堆疊
go
領域
data-engineering

研究方向

從 backend/plugins/testmo/tasks/shared.go 中的 GetTotalPagesFromResponse 開始，並將其分頁解析方式與 backend/plugins/testmo/api/remote_api.go 中的 ProjectPage 進行比較。新增一個單元測試，使用 issue 中描述的頂層 last_page 回應，接著驗證函式回傳 3（並將 null 值處理為 1）。當 runs、milestones 和 automation runs 能透過 last_page 請求頁面時，工作即告完成。

由索引模型根據 Issue 內容生成。

描述

Search before asking
  • I had searched in the issues and found no similar issues.
What happened

The Testmo collectRuns, collectMilestones and collectAutomationRuns subtasks only collect the first page (100 items) of a project.

They all use GetTotalPagesFromResponse in backend/plugins/testmo/tasks/shared.go, which reads the page count from meta.total_pages:

body := &models.TestmoResponse{} // data, links, meta, errors
...
if meta, ok := body.Meta.(map[string]interface{}); ok {
    if totalPages, exists := meta["total_pages"]; exists { ... }
}
return 1, nil

Testmo list responses have no meta object. The pagination fields are at the top level of the body: the Testmo REST API spec (RunPage, MilestonePage, AutomationRunPage) lists page, prev_page, next_page, last_page, per_page, total and result. The plugin's own remote scope API already reads this format (ProjectPage in backend/plugins/testmo/api/remote_api.go follows next_page). So meta is always nil, the function always returns 1, and the ApiCollector never requests page 2.

What do you expect to happen

All runs, milestones and automation runs of the project are collected, i.e. the collectors fetch pages 2..last_page.

How to reproduce
  1. Add a Testmo project with more than 100 runs (or milestones / automation runs) as a data scope.
  2. Run the blueprint.
  3. _raw_testmo_runs (and _tool_testmo_runs) hold only 100 rows for the project, while the project's run_count is higher.

A unit test that passes {"page": 1, "next_page": 2, "last_page": 3, "per_page": 100, "total": 250, "result": [...]} to GetTotalPagesFromResponse gets 1 instead of 3.

Anything else

Proposed fix (I have a PR ready): read the top-level last_page in GetTotalPagesFromResponse (1 when it is null), plus a unit test.

Version

main

Are you willing to submit PR?
  • Yes I am willing to submit a PR!
Code of Conduct
主要語言
Go
星號
3.2k
分支
840
平均合併
2 天 6 小時
30 天內合併 PR
94

環境準備

在 Codespaces 中開啟

在瀏覽器裡用你自己的 GitHub 帳號啟動這個專案的開發容器。

  • 沒有 Dockerfile 或 Docker Compose 檔案
  • 有 Pull Request 範本
  • 沒有貢獻指南

從這裡開始

  1. 先讀完整個 Issue，再讀專案的貢獻指南。
  2. 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
  3. Fork 儲存庫，在一個分支上完成修改。
  4. 送出 Pull Request，並在描述裡引用這個 Issue 編號。

apache/devlake 的其他 Issue

查看 apache/devlake 的全部 Issue

相似的 Issue

更多 Go Issue

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。