Concurrent batches into an auto-schema-created collection lose objects

Offen Anfängerfreundlich
#635 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
1/5
Geschätzter Aufwand
Unter einer Stunde
Anfängerfreundlichkeit
62/100
Issue-Typ
Dokumentation
Klarheit
Größtenteils klar
Aktivitätsstatus
Aktiv
Tech-Stack
java
Bereich
documentation

Rechercherichtung

Beginne mit der README des Clients und suche den Abschnitt zu Imports oder Batchverarbeitung. Dokumentiere die gemeldete Behelfslösung: Erstelle die Collection vor dem Import oder sende das erste Objekt separat, bevor du gleichzeitige Batches sendest. Das Issue ist abgeschlossen, wenn die README die Behelfslösung und die Race Condition erklärt, die sie behebt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Problem

When several batches write concurrently into a collection that auto-schema has to create, they race to create it. The server rejects the losers' objects with:

auto-schema: create collection: class name ... already exists

In 4 of 5 runs, 2–4 of 40 objects were lost (Weaviate 1.39.7, server-side batching). Concurrent insertMany calls hit the same race, so this looks like a server-side issue rather than a client one.

Workaround

Create the collection before importing, or send the first object on its own before starting concurrent batches.

Suggestion

Document the workaround in the client README, and track the race in the core repo if it isn't tracked already.

Vorherrschende Sprache
Java
Sterne
34
Forks
31
Ø Merge
2 T. 10 Std.
Gemergte PRs (30 T.)
2

Entwicklungsumgebung

Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus weaviate/java-client

Alle Issues in weaviate/java-client

Ähnliche Issues

Weitere Issues zu Java

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.