feathr-ai/feathr

Stream features to offline storage

Aperta

#530 aperta il 29 lug 2022

Vedi su GitHubGuida contributor
 (4 commenti) (0 reazioni) (1 assegnatario)Scala (244 fork)batch import
good first issuescala

Metriche repository

Star
 (1929 stelle)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

We now support stream features to online table(Redis).

It's a popular ask by users.

The main code is added by this https://github.com/linkedin/feathr/pull/137. Existing user guide: https://github.com/linkedin/feathr/blob/f3d6ba57425d550f19730403115c0523f6c3ffe6/docs/how-to-guides/streaming-source-ingestion.md.

Difficulty: medium

Guida contributor

Direzione di ricerca
Rivedere l'implementazione esistente per lo storage online (Redis) nella PR #137 e la guida all'ingestione delle sorgenti in streaming linkata nell'issue. Identificare la struttura del codice per i sink offline e comprendere il modello di scrittura dei dati. Indagare come adattare la pipeline di streaming per scrivere in storage offline come HDFS o S3, considerando i requisiti di formato e consistenza. Controllare il lavoro dell'assegnatario corrente e qualsiasi commento per un consenso sull'approccio.
Tech stack
scala
Dominio
backenddata
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
ScalaGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75