Concurrent batches into an auto-schema-created collection lose objects

Aberta Para iniciantes
#635 0 comentários 0 reações 0 responsáveis Ver no GitHub

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
1/5
Tempo estimado
Menos de uma hora
Facilidade para iniciantes
62/100
Tipo de issue
Documentação
Clareza
Razoavelmente clara
Status de atividade
Ativa
Stack de tecnologia
java
Domínio
documentation

Direção de pesquisa

Comece pelo README do cliente e encontre a seção que trata de importações ou processamento em lote. Documente a solução alternativa relatada: crie a collection antes de importar ou envie o primeiro objeto separadamente antes de enviar lotes concorrentes. A issue estará concluída quando o README explicar a solução alternativa e a condição de corrida que ela resolve.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

Problem

When several batches write concurrently into a collection that auto-schema has to create, they race to create it. The server rejects the losers' objects with:

auto-schema: create collection: class name ... already exists

In 4 of 5 runs, 2–4 of 40 objects were lost (Weaviate 1.39.7, server-side batching). Concurrent insertMany calls hit the same race, so this looks like a server-side issue rather than a client one.

Workaround

Create the collection before importing, or send the first object on its own before starting concurrent batches.

Suggestion

Document the workaround in the client README, and track the race in the core repo if it isn't tracked already.

Linguagem predominante
Java
Estrelas
34
Forks
31
Merge médio
2d 10h
PRs com merge (30d)
2

Preparar o ambiente

Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de weaviate/java-client

Todas as issues de weaviate/java-client

Issues semelhantes

Mais issues de Java

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.