rapidsai/cudf

[FEA] `cudf.read_text` does not use the GDS-enabled datasource

Open

#13.880 geöffnet am 14. Aug. 2023

Auf GitHub ansehen
 (2 Kommentare) (0 Reaktionen) (1 zugewiesene Person)C++ (735 Forks)batch import
PerformancePythoncuIOfeature requestgood first issuelibcudf

Repository-Metriken

Stars
 (6.000 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 17T 21h) (230 gemergte PRs in 30 T)

Beschreibung

libcudf's multibyte_split has multiple ways to specify input data source when reading from a file:

  1. auto const source = cudf::io::text::make_source_from_file(temp_file_name); // no GDS

  2. auto const datasource = cudf::io::datasource::create(temp_file_name); auto const source = cudf::io::text::make_source(*datasource); // supports GDS

cudf.read_text uses the first option to create the data_chunk_source object, so it does not benefit from potential direct reads with GDS.

cudf.read_text should create a cudf::io::datasource object to improve performance on GDS-enabled systems.

Contributor Guide

Research-Richtung
Ändern Sie die Implementierung von cudf.read text, um ein cudf::io::datasource aus dem Dateipfad zu erstellen und an make source zu übergeben, anstatt direkt make source from file zu verwenden.
Tech Stack
cpp
Domain
backendapiperformance
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
C++cudf::io::datasource
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60