lancedb/lancedb

feat(python): support `DataFrame` or reader in `Table.add_columns()`

Open

Aperta il 18 dic 2024

Vedi su GitHub
 (3 commenti) (0 reazioni) (1 assegnatario)HTML (10.303 star) (876 fork)batch import
Pythonenhancementgood first issue

Descrizione

At the Rust level, we support readers/streams in add_columns():

https://github.com/lancedb/lancedb/blob/25402ba6ec05a0edb12d496be42316aa0bb16f39/rust/lancedb/src/table.rs#L891-L897

https://docs.rs/lance/latest/lance/dataset/enum.NewColumnTransform.html

But in Python, we only support the SQLExpressions option:

https://github.com/lancedb/lancedb/blob/25402ba6ec05a0edb12d496be42316aa0bb16f39/python/src/table.rs#L413-L424

We should add support for a reader (which can come from a DataFrame). Here's an example of a method that takes a reader:

https://github.com/lancedb/lancedb/blob/25402ba6ec05a0edb12d496be42316aa0bb16f39/python/src/table.rs#L116-L121

In Python, we convert it into a PyArrow RecordBatchReader here:

https://github.com/lancedb/lancedb/blob/25402ba6ec05a0edb12d496be42316aa0bb16f39/python/python/lancedb/table.py#L2694-L2696

Guida contributor

Tech stack
pythonrust
Dominio
database
Tipo issue
feature
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 hours
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
active
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
clear
Prerequisiti
PythonGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75
Direzione di ricerca
Inizia esaminando l'implementazione Rust in rust/lancedb/src/table.rs (righe 891-897) per capire come i reader sono supportati a livello Rust. Poi guarda i binding Python in python/src/table.rs (righe 413-424) per vedere l'attuale implementazione solo per SQLExpressions. Inoltre, rivedi l'esempio di un metodo che accetta un reader in python/src/table.rs (righe 116-121) e la conversione in RecordBatchReader in python/python/lancedb/table.py (righe 2694-2696). L'obiettivo è aggiungere un parametro reader simile a Table.add columns() in Python, seguendo lo schema dei metodi esistenti che accettano reader.