Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

[Feature Request]: Add Chroma vector database ingestion connector for RAG pipelines

Đang mở
  • Có gì không ổn?
#40,047 1 bình luận 0 reaction 1 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@nitinware đang làm issue này rồi.

Từ ngày 7/9/2026.

Đánh giá

Issue này chưa được đánh giá.

Mô tả

io new feature P2 python
What would you like to happen?

Motivation

Beam's Python ml/rag ingestion module currently supports Milvus and Qdrant (sdks/python/apache_beam/ml/rag/ingestion/). Chroma is one of the most widely-adopted open-source vector databases, especially for local and embedded RAG workloads, and is the missing piece in Beam's OSS vector-DB coverage.

Proposal

Add sdks/python/apache_beam/ml/rag/ingestion/chroma.py implementing a WriteToChroma PTransform matching the shape of the existing Milvus and Qdrant connectors:

  • Accepts Chunk records from the existing RAG chunking transforms
  • Supports both chromadb.HttpClient (remote) and chromadb.PersistentClient
    (embedded / local) client modes
  • Configurable collection name, embedding + metadata mapping, batch size
  • Standard retry/backoff

Benefits

  • Completes Beam's coverage of the OSS local-first vector-DB tier
  • Chroma is Apache-2.0 licensed — no dependency-license concerns
  • PersistentClient runs in-process, so integration tests do not need
    Docker or a remote service — a meaningful advantage over Milvus/Qdrant
    which require running servers in CI

Testing plan

  • Unit tests mirroring qdrant_test.py
  • Integration test using chromadb.PersistentClient against a tmpdir
    (no external service required)
  • Docs + example consistent with existing Milvus / Qdrant docs
Issue Priority

Priority: 2 (default / most feature requests should be filed as P2)

Issue Components
  • Component: Python SDK
  • Component: Java SDK
  • Component: Go SDK
  • Component: Typescript SDK
  • Component: IO connector
  • Component: Beam YAML
  • Component: Beam examples
  • Component: Beam playground
  • Component: Beam katas
  • Component: Website
  • Component: Infrastructure
  • Component: Spark Runner
  • Component: Flink Runner
  • Component: Prism Runner
  • Component: Twister2 Runner
  • Component: Hazelcast Jet Runner
  • Component: Google Cloud Dataflow Runner
Ngôn ngữ chính
Java
Star
8.7k
Fork
4.7k
Merge trung bình
2 ngày 5 giờ
Pull request đã merge (30 ngày)
314

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/beam

Tất cả issue của apache/beam

Issue tương tự

Thêm issue về Java

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.