lance-format/lance

[Duckdb] Zero copy Arrow Array/RecordBatch to duckdb Vector/DataChunk conversion

Open

#348 aperta il 4 dic 2022

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Rust (695 fork)github user discovery
arrowduckdbhelp wantedrust

Metriche repository

Star
 (6582 star)
Metriche merge PR
 (Merge medio 6g 1h) (219 PR mergiate in 30 g)

Descrizione

Problem Statement

#347 converts arrow array / RecordBatch reading from the LanceDataset to duckdb corresponding data structures via heavy data copy.

We need to implement zero-copy data transfer between arrow and duckdb to make the extension production ready.

  • Primitive Arrays to duckdb::Vector
  • ::arrow::StructArray
  • ::arrow::ListArray
  • ::arrow::DictionaryArray

Guida contributor

Direzione di ricerca
Studia l'interfaccia dati C di Arrow e l'integrazione Arrow di DuckDB. Implementa la copia zero gestendo in modo sicuro la proprietà della memoria ed evitando la serializzazione. Inizia con gli array primitivi.
Tech stack
rust
Dominio
backenddatabase
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
5
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Oltre 1 settimana
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
RustApache ArrowDuckDB internals
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30