lancedb/lancedb

feat(python): support `DataFrame` or reader in `Table.add_columns()`

Open

#1959 aperta il 18 dic 2024

Vedi su GitHub
 (3 commenti) (0 reazioni) (1 assegnatario)HTML (876 fork)batch import
Pythonenhancementgood first issue

Metriche repository

Star
 (10.303 star)
Metriche merge PR
 (Merge medio 2g 17h) (82 PR mergiate in 30 g)

Descrizione

At the Rust level, we support readers/streams in add_columns():

https://github.com/lancedb/lancedb/blob/25402ba6ec05a0edb12d496be42316aa0bb16f39/rust/lancedb/src/table.rs#L891-L897

https://docs.rs/lance/latest/lance/dataset/enum.NewColumnTransform.html

But in Python, we only support the SQLExpressions option:

https://github.com/lancedb/lancedb/blob/25402ba6ec05a0edb12d496be42316aa0bb16f39/python/src/table.rs#L413-L424

We should add support for a reader (which can come from a DataFrame). Here's an example of a method that takes a reader:

https://github.com/lancedb/lancedb/blob/25402ba6ec05a0edb12d496be42316aa0bb16f39/python/src/table.rs#L116-L121

In Python, we convert it into a PyArrow RecordBatchReader here:

https://github.com/lancedb/lancedb/blob/25402ba6ec05a0edb12d496be42316aa0bb16f39/python/python/lancedb/table.py#L2694-L2696

Guida contributor

Direzione di ricerca
Inizia esaminando l'implementazione Rust in rust/lancedb/src/table.rs (righe 891-897) per capire come i reader sono supportati a livello Rust. Poi guarda i binding Python in python/src/table.rs (righe 413-424) per vedere l'attuale implementazione solo per SQLExpressions. Inoltre, rivedi l'esempio di un metodo che accetta un reader in python/src/table.rs (righe 116-121) e la conversione in RecordBatchReader in python/python/lancedb/table.py (righe 2694-2696). L'obiettivo è aggiungere un parametro reader simile a Table.add columns() in Python, seguendo lo schema dei metodi esistenti che accettano reader.
Tech stack
pythonrust
Dominio
database
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75