pola-rs/polars

Add add_filename to pl.read_csv (and read operations others)

Open

#19.266 aperta il 16 ott 2024

Vedi su GitHub
 (6 commenti) (3 reazioni) (0 assegnatari)Rust (2826 fork)batch import
enhancementgood first issue

Metriche repository

Star
 (38.496 star)
Metriche merge PR
 (Merge medio 3g 18h) (175 PR mergiate in 30 g)

Descrizione

Description

It is ocasionaly true that the filename of a data file is fairly critical information

Illustratively

Users/
   Alice.csv
   Bob.csv
   Charlie.csv

When using glob patterns to read this data, the file name itself is lost - which all but forces the user to loop over the files and read them manually.


# This does not preserve what row is for what user
df = pl.read_csv('Users/*.csv') 

 # This is a bit long
df = (pl.concat([
                pl.read_csv(file).with_columns(filename=pl.lit(file) 
                for file in glob('Users/*.csv')
            ])
        )

A parameter to add a column with the specific file name when reading data via a glob pattern would be a nice to have.

Guida contributor

Direzione di ricerca
L'implementazione prevede l'aggiunta di un parametro `add filename` a `pl.read csv` (e ad altre funzioni di lettura come `read parquet`) nell'API Python. Ciò richiede la modifica delle firme delle funzioni Python in `polars/py polars/polars/io/csv.py` e il passaggio del parametro al backend Rust in `polars/polars io/src/csv.rs`. La colonna dovrebbe contenere il nome o il percorso del file sorgente. Esamina i pattern esistenti nel codebase, come `include filepaths` o parametri simili. La discussione nei commenti dell'issue potrebbe fornire ulteriore contesto sul comportamento desiderato per file multipli rispetto a un singolo file.
Tech stack
pythonrust
Dominio
data
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Python
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75