feast-dev/feast

Loading 600K features from a parquet file

Open

#4 589 ouverte le 30 sept. 2024

Voir sur GitHub
 (5 commentaires) (0 réactions) (1 assigné)Python (896 forks)batch import
good first issuekind/bugpriority/p2wontfix

Métriques du dépôt

Stars
 (5 029 stars)
Métriques de merge PR
 (Merge moyen 8j 20h) (55 PRs mergées en 30 j)

Description

Context

Given the sample files from the OpenShift AI tutorial - Fraud detection example, repo link, including 600,000 rows modelling a fraud detection dataset.

Objective

I want to model the same training dataset as a Feast offline store using a FileSource and then fetch all the historical features at once.

See all the details to replicate the issue here: https://github.com/dmartinol/feast_issue_600K

Guide contributeur

Direction de recherche
Examinez le dépôt de reproduction à l'adresse https://github.com/dmartinol/feast issue 600K pour connaître les étapes exactes et la configuration. Étudiez le code de Feast FileSource et du stockage hors ligne dans le dépôt feast dev/feast, en particulier la gestion des fichiers parquet avec de nombreuses colonnes. Vérifiez les commentaires dans l'issue pour obtenir un contexte supplémentaire de la part de l'assigné (assignee).
Stack technique
pythonpandas
Domaine
datamachine learning
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
Understanding of Feast's FileSourceExperience with large parquet datasetsKnowledge of Python and pandas
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40