Compose with collections
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 5/5
- Tempo estimado
- Mais de uma semana
- Facilidade para iniciantes
- 20/100
- Tipo de issue
- Funcionalidade
- Clareza
- Precisa de esclarecimento
- Status de atividade
- Estagnada
- Domínio
- data, stream-processing
Direção de pesquisa
Start by reading the existing local and dask Stream implementations and the issue's proposed BatchStream example. Determine how collection-wise and dataframe streams should compose with both stream types, then document the API boundaries and completion criteria before implementing them.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
We probably want a Stream variant that moves around not individual elements, but batches or sequences of elements. We probably also want a Stream variant that moves around Pandas dataframes. Each of these would probably want a different API. Tor example map on a batched stream might look like the following:
class map(BatchStream):
def __init__(self, func):
...
def update(self, batch):
new_batch = list(builtins.map(self.func, batch))
self.emit(new_batch)
However each of these new collection-wise interfaces would probably want to compose with both the lower level local and dask Stream objects.
To that end maybe it makes sense to encapsulate a low-level stream within a user-level stream.
- Linguagem predominante
- Python
- Estrelas
- 1.3k
- Forks
- 151
- Merge médio
- 17h 39min
- PRs com merge (30d)
- 1
Preparar o ambiente
- Inclui um Dockerfile ou arquivo Docker Compose
- Sem modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de python-streamz/streamz
-
pkg_resources warningAberta
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 35/100
python-streamz/streamz#481 · 4 comentários ·
-
Combining the streamz.Stream.filenames() and streamz.Stream.from_textfile() using dask scatter?Aberta
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
python-streamz/streamz#480 · 2 comentários ·
-
Compile the code into c++Aberta
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 20/100
python-streamz/streamz#479 · 1 comentário ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 20/100
python-streamz/streamz#478 · 6 comentários ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 10/100
python-streamz/streamz#476 · 17 comentários · 2 reações ·
Todas as issues de python-streamz/streamz
Issues semelhantes
-
feature:LinkChecker
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 66/100
digitalfabrik/integreat-cms#4594 ·
Mantenedores costumam responder em até 5 dias
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 70/100
EleutherAI/lm-evaluation-harness#4319 ·
Mantenedores costumam responder em até 1 dia
-
needs triage
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
Mantenedores costumam responder em até 1 dia
-
json_params_matcher fails on falsy top-level JSON primitives (0, False, "")Talvez já em andamento @mayureshsonawane17 assumiu hoje. AbertaWaiting for: Product Owner
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 84/100
Mantenedores costumam responder em até 5 dias