Concurrent batches into an auto-schema-created collection lose objects

Đang mở Phù hợp với người mới
#635 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
1/5
Thời gian dự kiến
Dưới một giờ
Mức phù hợp với người mới
62/100
Loại issue
Tài liệu
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
java
Lĩnh vực
documentation

Hướng nghiên cứu

Bắt đầu với README của client và tìm phần nói về nhập dữ liệu hoặc xử lý theo lô. Ghi lại cách khắc phục được báo cáo: tạo collection trước khi nhập, hoặc gửi đối tượng đầu tiên riêng trước khi gửi các lô đồng thời. Issue hoàn tất khi README giải thích cách khắc phục và race condition mà cách này xử lý.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Problem

When several batches write concurrently into a collection that auto-schema has to create, they race to create it. The server rejects the losers' objects with:

auto-schema: create collection: class name ... already exists

In 4 of 5 runs, 2–4 of 40 objects were lost (Weaviate 1.39.7, server-side batching). Concurrent insertMany calls hit the same race, so this looks like a server-side issue rather than a client one.

Workaround

Create the collection before importing, or send the first object on its own before starting concurrent batches.

Suggestion

Document the workaround in the client README, and track the race in the core repo if it isn't tracked already.

Ngôn ngữ chính
Java
Star
34
Fork
31
Merge trung bình
2 ngày 10 giờ
Pull request đã merge (30 ngày)
2

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của weaviate/java-client

Tất cả issue của weaviate/java-client

Issue tương tự

Thêm issue về Java

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.