feast-dev/feast

Loading 600K features from a parquet file

Offen

#4.589 geöffnet am 30.09.2024

Auf GitHub ansehenContributor Guide
 (5 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Python (896 Forks)batch import
good first issuekind/bugpriority/p2wontfix

Repository-Metriken

Stars
 (5.029 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 9T 1h) (59 gemergte PRs in 30 T)

Beschreibung

Context

Given the sample files from the OpenShift AI tutorial - Fraud detection example, repo link, including 600,000 rows modelling a fraud detection dataset.

Objective

I want to model the same training dataset as a Feast offline store using a FileSource and then fetch all the historical features at once.

See all the details to replicate the issue here: https://github.com/dmartinol/feast_issue_600K

Contributor Guide

Research-Richtung
Untersuche den Datenladepfad für Parquet Dateien in Feast und konzentriere dich darauf, wie die 600K Features geparst und gespeichert werden. Überprüfe auf Speicher oder Leistungsengpässe.
Tech Stack
python
Domain
backenddatamachine learning
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
PythonGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60