lance-format/lance

[Duckdb] Zero copy Arrow Array/RecordBatch to duckdb Vector/DataChunk conversion

Open

#348 ouverte le 4 déc. 2022

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Rust (695 forks)github user discovery
arrowduckdbhelp wantedrust

Métriques du dépôt

Stars
 (6 582 stars)
Métriques de merge PR
 (Merge moyen 6j 1h) (219 PRs mergées en 30 j)

Description

Problem Statement

#347 converts arrow array / RecordBatch reading from the LanceDataset to duckdb corresponding data structures via heavy data copy.

We need to implement zero-copy data transfer between arrow and duckdb to make the extension production ready.

  • Primitive Arrays to duckdb::Vector
  • ::arrow::StructArray
  • ::arrow::ListArray
  • ::arrow::DictionaryArray

Guide contributeur

Direction de recherche
Étudiez l'interface de données C d'Arrow et l'intégration Arrow de DuckDB. Implémentez la copie zéro en gérant en toute sécurité la propriété de la mémoire et en évitant la sérialisation. Commencez par les tableaux primitifs.
Stack technique
rust
Domaine
backenddatabase
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
5
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Plus d'une semaine
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
RustApache ArrowDuckDB internals
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30