rapidsai/cudf

Use grid stride in CSV reader kernels

Open

#14 066 ouverte le 8 sept. 2023

Voir sur GitHub
 (1 commentaire) (0 réactions) (1 assigné)C++ (735 forks)batch import
PerformancecuIOgood first issue

Métriques du dépôt

Stars
 (6 000 stars)
Métriques de merge PR
 (Merge moyen 17j 21h) (230 PRs mergées en 30 j)

Description

Currently, the CSV reader parses data using a thread per row, and a separate thread is used for each row, regardless of the file size. Using a grid stride loop would allow kernels to launch with preset number of blocks even with large input.

This applies both to the parser and the data inference kernels.

Guide contributeur

Direction de recherche
Étudiez les implémentations actuelles du noyau de lecteur CSV dans le dépôt cudf, en particulier les noyaux d'analyse et d'inférence de données. Recherchez où les threads sont attribués par ligne et refactorisez pour utiliser une boucle à pas de grille. Cela impliquera de modifier les lancements de noyau CUDA et les structures de boucle dans des fichiers tels que csv reader.cu ou similaires. Référez vous aux exemples existants de pas de grille CUDA dans la base de code pour la cohérence du modèle.
Stack technique
cpp
Domaine
backenddata
Type d'issue
Performance
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
CUDAC++
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40