feathr-ai/feathr

Stream features to offline storage

Offen

#530 geöffnet am 29.07.2022

Auf GitHub ansehenContributor Guide
 (4 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Scala (244 Forks)batch import
good first issuescala

Repository-Metriken

Stars
 (1.929 Sterne)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

We now support stream features to online table(Redis).

It's a popular ask by users.

The main code is added by this https://github.com/linkedin/feathr/pull/137. Existing user guide: https://github.com/linkedin/feathr/blob/f3d6ba57425d550f19730403115c0523f6c3ffe6/docs/how-to-guides/streaming-source-ingestion.md.

Difficulty: medium

Contributor Guide

Research-Richtung
Überprüfen Sie die bestehende Implementierung für den Online Speicher (Redis) in PR #137 und den im Issue verlinkten Leitfaden zur Streaming Quellenerfassung. Identifizieren Sie die Codestruktur für Offline Senken und verstehen Sie das Daten Schreibmuster. Untersuchen Sie, wie die Streaming Pipeline angepasst werden kann, um in Offline Speicher wie HDFS oder S3 zu schreiben, unter Berücksichtigung der Format und Konsistenzanforderungen. Prüfen Sie die Arbeit des aktuellen Bearbeiters und alle Kommentare auf einen Konsens zum Ansatz.
Tech Stack
scala
Domain
backenddata
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
ScalaGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
75