feathr-ai/feathr

Stream features to offline storage

Aberta

#530 aberto em 29 de jul. de 2022

Ver no GitHubGuia do colaborador
 (4 comentários) (0 reação) (1 responsável)Scala (244 forks)batch import
good first issuescala

Métricas do repositório

Stars
 (1.929 estrelas)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

We now support stream features to online table(Redis).

It's a popular ask by users.

The main code is added by this https://github.com/linkedin/feathr/pull/137. Existing user guide: https://github.com/linkedin/feathr/blob/f3d6ba57425d550f19730403115c0523f6c3ffe6/docs/how-to-guides/streaming-source-ingestion.md.

Difficulty: medium

Guia do colaborador

Direção de pesquisa
Revisar a implementação existente para armazenamento online (Redis) na PR #137 e o guia de ingestão de fonte de streaming vinculado na issue. Identificar a estrutura de código para sinks offline e entender o padrão de escrita de dados. Investigar como adaptar o pipeline de streaming para gravar em armazenamento offline como HDFS ou S3, considerando os requisitos de formato e consistência. Verificar o trabalho do responsável atual e quaisquer comentários para consenso sobre a abordagem.
Pilha de tecnologia
scala
Domain
backenddata
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
ScalaGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
75