rapidsai/cudf

[FEA] `cudf.read_text` does not use the GDS-enabled datasource

Open

#13.880 aberto em 14 de ago. de 2023

Ver no GitHub
 (2 comments) (0 reactions) (1 assignee)C++ (735 forks)batch import
PerformancePythoncuIOfeature requestgood first issuelibcudf

Métricas do repositório

Stars
 (6.000 stars)
Métricas de merge de PR
 (Mesclagem média 17d 21h) (230 fundiu PRs em 30d)

Description

libcudf's multibyte_split has multiple ways to specify input data source when reading from a file:

  1. auto const source = cudf::io::text::make_source_from_file(temp_file_name); // no GDS

  2. auto const datasource = cudf::io::datasource::create(temp_file_name); auto const source = cudf::io::text::make_source(*datasource); // supports GDS

cudf.read_text uses the first option to create the data_chunk_source object, so it does not benefit from potential direct reads with GDS.

cudf.read_text should create a cudf::io::datasource object to improve performance on GDS-enabled systems.

Guia do colaborador

Direção de pesquisa
Modifique a implementação do cudf.read text para criar um cudf::io::datasource a partir do caminho do arquivo e passá lo para make source em vez de usar make source from file diretamente.
Pilha de tecnologia
cpp
Domain
backendapiperformance
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
C++cudf::io::datasource
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60