feast-dev/feast

Loading 600K features from a parquet file

Ouverte

#4 589 ouverte le 30 sept. 2024

Voir sur GitHubGuide contributeur
 (5 commentaires) (0 réaction) (1 personne assignée)Python (896 forks)batch import
good first issuekind/bugpriority/p2wontfix

Métriques du dépôt

Stars
 (5 029 étoiles)
Métriques de merge PR
 (Merge moyen 9j 1h) (59 PRs mergées en 30 j)

Description

Context

Given the sample files from the OpenShift AI tutorial - Fraud detection example, repo link, including 600,000 rows modelling a fraud detection dataset.

Objective

I want to model the same training dataset as a Feast offline store using a FileSource and then fetch all the historical features at once.

See all the details to replicate the issue here: https://github.com/dmartinol/feast_issue_600K

Guide contributeur

Direction de recherche
Examinez le chemin de chargement des donnees pour les fichiers parquet dans Feast, en vous concentrant sur la facon dont les 600K fonctionnalites sont analysees et stockees. Verifiez les goulots d'etranglement de memoire ou de performance.
Stack technique
python
Domaine
backenddatamachine learning
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60