Problem: can't discover stream identifiers
Chưa có ai nhận issue này.
Đánh giá
Issue này chưa được đánh giá.
Mô tả
Separate comment to hide and add to specs if appropriate
I also have a request that I don't know how to put in the specs properly, and I need a lot of input from the data team (@joequant, should I tag anyone else?).
The issue is that we explicitly need a way to discover and share stream identifiers across our teams.
I see that
truflation-ingestorsdefine a property callednamefor eachExportDetails. Is that the identifier I'm expecting?If so, it's hard to follow the output from the code; there's no centralized list (that I know of) of all the pipelines available, then it's hard to agree on an identifier for each.
While previously ingesting from the DB, we've used the table names as identifiers for primitive streams (which seems reasonable). For transformed data, in our case, composed streams (e.g., Transport), we've been using a hash of category names, which are very arbitrary, and no one says it won't change a space or a comma.
As we're targeting building a new destination and eventually migrating to use this destination, having mappable identifiers from the current system is a must for a smooth migration process. It would help us detect drifts much more easily.
How do you (the data team) think this could be handled? Could we commit a list to any of these repos mapping all output exports and maybe the pipeline name or localization that originated them?
Could this problem be incorporated into this goal to start the identifiers correctly already?
Originally posted by @outerlook in #493
- Ngôn ngữ chính
- Go
- Star
- 7
- Fork
- 3
- Merge trung bình
- 3 giờ 2 phút
- Pull request đã merge (30 ngày)
- 13
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của trufnetwork/node
-
type: goal
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
trufnetwork/node#1436 ·
-
trufnetwork/node#1435 · 1 người được giao ·
-
trufnetwork/node#1429 · 2 bình luận · 1 người được giao ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
trufnetwork/node#1313 · 2 bình luận · 1 reaction ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
trufnetwork/node#1200 · 1 bình luận ·
Tất cả issue của trufnetwork/node
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
bazel-contrib/rules_go#4726 · 1 bình luận ·
-
area/auto-scaling area/monitoring area/ops-productivity kind/enhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
-
Type/Improvement
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 90/100
OpenNSW/nsw-srilanka#522 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 92/100