Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Add entity resolution to deduplicate and merge cross-source observations

Đang mở
  • Có gì không ổn?
#250 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
35/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Ít trao đổi
Công nghệ
go, kafka
Lĩnh vực
backend, data-engineering, distributed-systems

Hướng nghiên cứu

Read docs/_drafts/06-roadmap.md and inspect the existing Upsert behavior first, focusing on the Tier 1 exact-URN scope. Done means observations merge idempotently into an existing entity, provenance is tracked, and the merge behavior is defined; Tier 2 and Tier 3 are follow-ups.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Context

Compass stores entities from multiple sources as separate records. A Kafka topic ingested from two different systems creates two unrelated entities with different URNs. The graph is fragmented — context assembly, impact analysis, and search all operate on disconnected duplicates.

Entity resolution is the mechanism that matches incoming observations against existing entities, merges properties, and maintains unified identity. This is the prerequisite for a coherent knowledge graph.

Scope

Tier 1: Exact URN Match
  • When an observation arrives with a URN that already exists, merge properties into the existing entity
  • Track provenance: which source contributed which properties
  • Idempotent — re-sending the same observation must not create duplicates or mutate state unexpectedly
  • This is what Upsert partially does today, but without provenance tracking or merge strategy
Tier 2: Heuristic Matching
  • Match observations where URN differs but type + name + source pattern suggests the same logical entity
  • Configurable matching rules (e.g., "bigquery table names map to dbt model names via this pattern")
  • Candidate scoring with a confidence threshold
Tier 3: Semantic Similarity (follow-up)
  • Use embedding similarity to catch non-obvious matches
  • Only viable after the embedding pipeline has indexed sufficient entities
  • Should be a signal fed into Tier 2 scoring, not a standalone matcher
Merge Strategy
  • When a match is found, merge properties from the new observation into the existing entity
  • Default: last-write-wins per field
  • Track which source contributed which properties (provenance)
  • Resolution audit log: record what was matched, merged, and why

Design Considerations

  • Resolution must be idempotent
  • Meteor sends raw observations, Compass resolves — keep the interface simple
  • Start with Tier 1 (exact URN match with provenance). Ship it. Tier 2 and 3 are follow-ups.
  • Graph-aware ranking (#237) depends on a coherent, deduplicated graph — this should ship first

References

Ngôn ngữ chính
Go
Star
72
Fork
9
Không có pull request nào được merge trong 30 ngày

Chuẩn bị môi trường

  • Có Dockerfile hoặc tệp Docker Compose
  • Không có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của raystack/compass

Tất cả issue của raystack/compass

Issue tương tự

Thêm issue về Go

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.