lancedb/lancedb

Feature: openai embedding function returns None if the result is not valid

Open

Aperta il 20 set 2024

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)HTML (10.303 star) (876 fork)batch import
enhancementgood first issuehelp wanted

Descrizione

SDK

Python

Description

Be able to handle error easier, we can

  1. Set the return embedding as None
  2. logging the line where it is error.
  3. Allow user either drop the row or store the row with None embedding, so users can later to rerun the ingestion with filter vector_column == null

Guida contributor

Tech stack
python
Dominio
aidata
Tipo issue
feature
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 hours
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
fresh
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
mostly clear
Prerequisiti
basic Pythonknowledge of embedding functions
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60
Direzione di ricerca
Rivedi la funzione di embedding OpenAI esistente nell'SDK Python (probabilmente in lancedb/embeddings/openai.py). Implementa una modifica che restituisca None quando il risultato dell'embedding non è valido, aggiungi la registrazione dell'errore per la posizione e fornisci un'opzione all'utente per eliminare la riga o memorizzarla con un embedding None. Controlla i modelli di gestione degli errori esistenti e i test correlati per orientarti.