Concurrent batches into an auto-schema-created collection lose objects

Ouverte Adaptée aux débutants
#635 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
1/5
Temps estimé
Moins d'une heure
Accessibilité débutants
62/100
Type d'issue
Documentation
Clarté
Plutôt claire
Activité
Active
Stack technique
java
Domaine
documentation

Piste de recherche

Commence par le README du client et trouve la section consacrée aux imports ou au traitement par lots. Documente la solution de contournement signalée : crée la collection avant l’importation ou envoie le premier objet séparément avant d’envoyer des lots concurrents. L’issue est terminée lorsque le README explique la solution de contournement et la condition de concurrence qu’elle résout.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Problem

When several batches write concurrently into a collection that auto-schema has to create, they race to create it. The server rejects the losers' objects with:

auto-schema: create collection: class name ... already exists

In 4 of 5 runs, 2–4 of 40 objects were lost (Weaviate 1.39.7, server-side batching). Concurrent insertMany calls hit the same race, so this looks like a server-side issue rather than a client one.

Workaround

Create the collection before importing, or send the first object on its own before starting concurrent batches.

Suggestion

Document the workaround in the client README, and track the race in the core repo if it isn't tracked already.

Langage dominant
Java
Étoiles
34
Forks
31
Merge moyen
2 j 10 h
PR mergées (30 j)
2

Préparer son environnement

Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de weaviate/java-client

Toutes les issues de weaviate/java-client

Issues similaires

Plus d'issues Java

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.