rapidsai/cudf

[FEA] `cudf.read_text` does not use the GDS-enabled datasource

Open

#13.880 aperta il 14 ago 2023

Vedi su GitHub
 (2 commenti) (0 reazioni) (1 assegnatario)C++ (735 fork)batch import
PerformancePythoncuIOfeature requestgood first issuelibcudf

Metriche repository

Star
 (6000 star)
Metriche merge PR
 (Merge medio 17g 21h) (230 PR mergiate in 30 g)

Descrizione

libcudf's multibyte_split has multiple ways to specify input data source when reading from a file:

  1. auto const source = cudf::io::text::make_source_from_file(temp_file_name); // no GDS

  2. auto const datasource = cudf::io::datasource::create(temp_file_name); auto const source = cudf::io::text::make_source(*datasource); // supports GDS

cudf.read_text uses the first option to create the data_chunk_source object, so it does not benefit from potential direct reads with GDS.

cudf.read_text should create a cudf::io::datasource object to improve performance on GDS-enabled systems.

Guida contributor

Direzione di ricerca
Modifica l'implementazione di cudf.read text per creare un cudf::io::datasource dal percorso del file e passarlo a make source invece di usare direttamente make source from file.
Tech stack
cpp
Dominio
backendapiperformance
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
C++cudf::io::datasource
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60