feast-dev/feast

Loading 600K features from a parquet file

Open

#4589 aperta il 30 set 2024

Vedi su GitHub
 (5 commenti) (0 reazioni) (1 assegnatario)Python (896 fork)batch import
good first issuekind/bugpriority/p2wontfix

Metriche repository

Star
 (5029 star)
Metriche merge PR
 (Merge medio 8g 20h) (55 PR mergiate in 30 g)

Descrizione

Context

Given the sample files from the OpenShift AI tutorial - Fraud detection example, repo link, including 600,000 rows modelling a fraud detection dataset.

Objective

I want to model the same training dataset as a Feast offline store using a FileSource and then fetch all the historical features at once.

See all the details to replicate the issue here: https://github.com/dmartinol/feast_issue_600K

Guida contributor

Direzione di ricerca
Esamina il repository di riproduzione all'indirizzo https://github.com/dmartinol/feast issue 600K per i passaggi esatti e la configurazione. Indaga il codice di Feast FileSource e dell'offline store nel repository feast dev/feast, in particolare la gestione dei file parquet con molte colonne. Controlla eventuali commenti nell'issue per ulteriore contesto dall'assegnatario.
Tech stack
pythonpandas
Dominio
datamachine learning
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
Understanding of Feast's FileSourceExperience with large parquet datasetsKnowledge of Python and pandas
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40