lancedb/lancedb

Feature: openai embedding function returns None if the result is not valid

Open

#1.677 aberto em 20 de set. de 2024

Ver no GitHub
 (1 comment) (0 reactions) (0 assignees)HTML (876 forks)batch import
enhancementgood first issuehelp wanted

Métricas do repositório

Stars
 (10.303 stars)
Métricas de merge de PR
 (Mesclagem média 2d 17h) (82 fundiu PRs em 30d)

Description

SDK

Python

Description

Be able to handle error easier, we can

  1. Set the return embedding as None
  2. logging the line where it is error.
  3. Allow user either drop the row or store the row with None embedding, so users can later to rerun the ingestion with filter vector_column == null

Guia do colaborador

Direção de pesquisa
Inspecione a implementação atual da função de embedding OpenAI no SDK Python, localize onde o resultado é validado e adicione lógica para retornar None em caso de resultado inválido, registrar a linha de erro e fornecer uma opção de configuração para descartar a linha ou armazená la com embedding None para futura re ingestão.
Pilha de tecnologia
python
Domain
backenddatabase
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Python
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
75