rapidsai/cudf

[FEA] `cudf.read_text` does not use the GDS-enabled datasource

Open

#13 880 ouverte le 14 août 2023

Voir sur GitHub
 (2 commentaires) (0 réactions) (1 assigné)C++ (735 forks)batch import
PerformancePythoncuIOfeature requestgood first issuelibcudf

Métriques du dépôt

Stars
 (6 000 stars)
Métriques de merge PR
 (Merge moyen 17j 21h) (230 PRs mergées en 30 j)

Description

libcudf's multibyte_split has multiple ways to specify input data source when reading from a file:

  1. auto const source = cudf::io::text::make_source_from_file(temp_file_name); // no GDS

  2. auto const datasource = cudf::io::datasource::create(temp_file_name); auto const source = cudf::io::text::make_source(*datasource); // supports GDS

cudf.read_text uses the first option to create the data_chunk_source object, so it does not benefit from potential direct reads with GDS.

cudf.read_text should create a cudf::io::datasource object to improve performance on GDS-enabled systems.

Guide contributeur

Direction de recherche
Modifiez l'implémentation de cudf.read text pour créer un cudf::io::datasource à partir du chemin du fichier et le passer à make source au lieu d'utiliser directement make source from file.
Stack technique
cpp
Domaine
backendapiperformance
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
C++cudf::io::datasource
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60