feathr-ai/feathr

Stream features to offline storage

Ouverte

#530 ouverte le 29 juil. 2022

Voir sur GitHubGuide contributeur
 (4 commentaires) (0 réaction) (1 personne assignée)Scala (244 forks)batch import
good first issuescala

Métriques du dépôt

Stars
 (1 929 étoiles)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

We now support stream features to online table(Redis).

It's a popular ask by users.

The main code is added by this https://github.com/linkedin/feathr/pull/137. Existing user guide: https://github.com/linkedin/feathr/blob/f3d6ba57425d550f19730403115c0523f6c3ffe6/docs/how-to-guides/streaming-source-ingestion.md.

Difficulty: medium

Guide contributeur

Direction de recherche
Examiner l'implémentation existante pour le stockage en ligne (Redis) dans la PR #137 et le guide d'ingestion de source en streaming lié dans l'issue. Identifier la structure du code pour les récepteurs hors ligne et comprendre le modèle d'écriture des données. Étudier comment adapter le pipeline de streaming pour écrire dans un stockage hors ligne comme HDFS ou S3, en tenant compte des exigences de format et de cohérence. Vérifier le travail de l'assigné actuel et tout commentaire pour un consensus sur l'approche.
Stack technique
scala
Domaine
backenddata
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
ScalaGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
75