pola-rs/polars

Add add_filename to pl.read_csv (and read operations others)

Open

#19,266 opened on 2024年10月16日

GitHub で見る
 (6 comments) (3 reactions) (0 assignees)Rust (38,496 stars) (2,826 forks)batch import
enhancementgood first issue

説明

Description

It is ocasionaly true that the filename of a data file is fairly critical information

Illustratively

Users/
   Alice.csv
   Bob.csv
   Charlie.csv

When using glob patterns to read this data, the file name itself is lost - which all but forces the user to loop over the files and read them manually.


# This does not preserve what row is for what user
df = pl.read_csv('Users/*.csv') 

 # This is a bit long
df = (pl.concat([
                pl.read_csv(file).with_columns(filename=pl.lit(file) 
                for file in glob('Users/*.csv')
            ])
        )

A parameter to add a column with the specific file name when reading data via a glob pattern would be a nice to have.

コントリビューターガイド

技術スタック
pythonrust
領域
data
Issue 種別
feature
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
3
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
3-5 days
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
fresh
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
clear
前提条件
Polars Python APIRust FFI (pyo3)
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
50
調査方針
The implementation involves adding a `add filename` parameter to `pl.read csv` (and other read functions like `read parquet`) in the Python API. This requires modifying the Python function signatures in `polars/py polars/polars/io/csv.py` and passing the parameter through to the Rust backend in `polars/polars io/src/csv.rs`. The column should contain the source filename or path. Review existing patterns like `include filepaths` or similar parameters in the codebase. Discussion in the issue comments may provide further context on desired behavior for multiple files vs single file.