lance-format/lance

Allow dictionary encoding to support more fixed width types

Open

#5 004 ouverte le 20 oct. 2025

Voir sur GitHub
 (2 commentaires) (0 réactions) (0 assignés)Rust (695 forks)github user discovery
good first issue

Métriques du dépôt

Stars
 (6 582 stars)
Métriques de merge PR
 (Merge moyen 6j 1h) (219 PRs mergées en 30 j)

Description

Currently the dictionary encoding in 2.1 only applies to some 128-bit fixed-width types. I think this was a combination of a few things:

  • At the time, we were not bit-packing indices, and so applying dictionary encoding to smaller types was unlikely to be beneficial
  • Estimating cardinality on all columns was expensive
  • TPC-H data has a lot of 128-bit decimals that benefit from dictionary encoding so there was an outsized (and unrealistic) benchmarking gain to focusing on 128-bit types.

However, we should at least be considering dictionary encoding for 64-bit types and maybe even 32-bit types.

Guide contributeur

Direction de recherche
Examinez l'implémentation actuelle du codage de dictionnaire, en vous concentrant sur la manière dont les types à largeur fixe sont sélectionnés pour le codage. Étendez la sélection pour inclure les types à largeur fixe 64 bits et 32 bits, en tenant compte de l'estimation de la cardinalité et des implications de performance.
Stack technique
rust
Domaine
database
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
3-5 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Rustencoding
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
45