Record lineage between resource versions
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- scala
- Lĩnh vực
- backend-api-design
Hướng nghiên cứu
Start by tracing how resource versions are saved, cloned, and created from execution exports, then inspect the version API routes that could serve /{kind}/{rid}/versions/{vno}/lineage. The issue requires a lineage table, writes for uses and derived_from relations, and queries in both directions. Done when those three version-creation paths record lineage and the endpoint answers both directions; the issue does not name specific files or tests.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Task Summary
Texera records no lineage between resources. A workflow names the dataset files it reads as path strings inside its content, resolved only when it executes. An execution points to the workflow version it executed, the computing unit it ran on and the warehouse it stored in, but not to the dataset and model versions it read. So "which workflows read this dataset version?" and "where did this result come from?" have no answer, and a dataset or a model that workflows still use can be deleted without warning.
This task adds one lineage table between versions, with two relations:
uses: a version needs another version, such as a workflow version that reads a dataset version. It is written when the version is saved.derived_from: a version was made from another, such as a dataset version that holds an execution's exported results, or a cloned workflow. It is written when the new version is made.
Clients never write lineage. The shared code of #9490 writes it, and every version answers GET /{kind}/{rid}/versions/{vno}/lineage in both directions.
Before
flowchart LR
ex["workflow_executions"]
wv["workflow_version"]
cu["workflow_computing_unit"]
wh["user_warehouse"]
dv["dataset_version"]
ex -- "vid" --> wv
ex -- "cuid" --> cu
ex -- "whid" --> wh
wv -. "file paths as strings<br/>inside the workflow, no key" .-> dv
After
erDiagram
resource_version ||--o{ lineage : "is the version"
resource_version ||--o{ lineage : "is the source"
resource_version {
uuid rid PK
int vno PK
}
lineage {
uuid rid PK
int vno PK
uuid source_rid PK
int source_vno PK
string relation PK "uses or derived_from"
}
For example, a forecast workflow that reads a dataset and a model, and whose execution's results are exported as a new dataset, is stored as two uses rows and one derived_from row. The arrows show how the data flows:
flowchart LR
d["Dataset sales<br/>version 2"]
m["Model churn<br/>version 1"]
w["Workflow forecast<br/>version 3"]
o["Dataset forecast<br/>version 1"]
d -- "used by" --> w
m -- "used by" --> w
w -- "an execution exported" --> o
Scope
The lineage table, its writes from the shared code when versions are saved, cloned or made from an execution, and the lineage endpoint. Lineage inside a workflow, between operators and ports, is not part of this task, and reading an execution's results is #8995.
Discussion Points
- References and lineage in one table. zyratlo asked in #9395 where "this workflow uses this dataset version" would live. Keeping
usesbesidederived_fromanswers both questions with one query; the alternative is that each kind keeps its own references. - Deleting a resource whose versions others use. It can be refused, warned about, or allowed with its lineage rows kept.
- Executions as nodes. An execution could be a node of its own, between the versions it read and the versions it wrote, instead of being folded into
derived_from. - Existing versions.
usescan be back-filled from the file paths in existing workflow versions, or recorded only from now on.
Done when saving a workflow version records the dataset and model versions it uses, a cloned workflow and a dataset version made from exported results record where they came from, and the lineage endpoint answers both directions for any version.
Task Type
- Refactor / Cleanup
- DevOps / Deployment / CI
- Testing / QA
- Documentation
- Performance
- Other
- Ngôn ngữ chính
- Scala
- Star
- 333
- Fork
- 202
- Merge trung bình
- 3 ngày 11 giờ
- Pull request đã merge (30 ngày)
- 185
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của apache/texera
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 1 ngày
-
addOperator returns an error but still adds the operatorCó thể đã có người làm @sunny-kavixo đã nhận 5 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
apache/texera#9121 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Failed tool calls are marked as succeeded (isError is always false)Có thể đã có người làm @oliarmak-web đã nhận 14 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 80/100
apache/texera#9120 · 8 bình luận · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
apache/texera#8682 · 5 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của apache/texera
Issue tương tự
-
? - Needs Triage bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
NVIDIA/cudf-spark#16937 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
LFST not-issued-store count truncation can incorrectly clear strictShouldWaitCó thể đã có người làm @weidingliu đã nhận hôm nay. Đang mởmodule: memory type: bug/reported
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
OpenXiangShan/XiangShan#6974 · 1 bình luận · 1 người được giao ·
Maintainer thường phản hồi trong vòng 3 ngày
-
bug indigo
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
PurpleKingdomGames/indigoengine#300 · 1 bình luận ·
-
JavaReservoirSampleOperator returns the whole input when the dataset size is unknownCó thể đã có người làm @sasmith-14 đã nhận 2 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
apache/wayang#884 · 3 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
-
AI Generated CI/CD ⚒️ Flaky-tests 🐦 python 🐍
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
valkey-io/valkey-glide#7722 ·
Maintainer thường phản hồi trong vòng 1 ngày