pola-rs/polars

Add add_filename to pl.read_csv (and read operations others)

Ouverte

#19 266 ouverte le 16 oct. 2024

Voir sur GitHubGuide contributeur
 (6 commentaires) (3 réactions) (0 personne assignée)Rust (2 826 forks)batch import
enhancementgood first issue

Métriques du dépôt

Stars
 (38 496 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

Description

It is ocasionaly true that the filename of a data file is fairly critical information

Illustratively

Users/
   Alice.csv
   Bob.csv
   Charlie.csv

When using glob patterns to read this data, the file name itself is lost - which all but forces the user to loop over the files and read them manually.


# This does not preserve what row is for what user
df = pl.read_csv('Users/*.csv') 

 # This is a bit long
df = (pl.concat([
                pl.read_csv(file).with_columns(filename=pl.lit(file) 
                for file in glob('Users/*.csv')
            ])
        )

A parameter to add a column with the specific file name when reading data via a glob pattern would be a nice to have.

Guide contributeur

Direction de recherche
L'implémentation implique d'ajouter un paramètre `add filename` à `pl.read csv` (et autres fonctions de lecture comme `read parquet`) dans l'API Python. Cela nécessite de modifier les signatures des fonctions Python dans `polars/py polars/polars/io/csv.py` et de passer le paramètre au backend Rust dans `polars/polars io/src/csv.rs`. La colonne doit contenir le nom ou le chemin du fichier source. Examinez les modèles existants dans la base de code, comme `include filepaths` ou des paramètres similaires. La discussion dans les commentaires de l'issue peut fournir un contexte supplémentaire sur le comportement souhaité pour plusieurs fichiers par rapport à un seul fichier.
Stack technique
pythonrust
Domaine
data
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Python
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
75