Concurrent batches into an auto-schema-created collection lose objects

Abierto Apto para principiantes
#635 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
1/5
Tiempo estimado
Menos de una hora
Aptitud para principiantes
62/100
Tipo de issue
Documentación
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
java

Línea de trabajo

Empieza por el README del cliente y busca la sección sobre importaciones o procesamiento por lotes. Documenta la solución provisional indicada: crea la colección antes de importar o envía el primer objeto por separado antes de enviar lotes concurrentes. El issue estará terminado cuando el README explique la solución provisional y la condición de carrera que aborda.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Problem

When several batches write concurrently into a collection that auto-schema has to create, they race to create it. The server rejects the losers' objects with:

auto-schema: create collection: class name ... already exists

In 4 of 5 runs, 2–4 of 40 objects were lost (Weaviate 1.39.7, server-side batching). Concurrent insertMany calls hit the same race, so this looks like a server-side issue rather than a client one.

Workaround

Create the collection before importing, or send the first object on its own before starting concurrent batches.

Suggestion

Document the workaround in the client README, and track the race in the core repo if it isn't tracked already.

Lenguaje dominante
Java
Estrellas
34
Forks
31
Merge medio
2 d 10 h
PR fusionados (30 d)
2

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de weaviate/java-client

Todos los issues de weaviate/java-client

Issues similares

Más issues de Java

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.