Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Use an already trained Keras model to predict on lots of data

Abierto
  • ¿Algo no está bien?
#35 17 comentarios 1 reacción 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
35/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Estancado
Stack tecnológico
keras, python
Área
data-engineering, distributed-systems, machine-learning

Línea de trabajo

Comienza con la referencia de ParallelPostFit y los ejemplos de X.map_blocks y df.map_partitions del issue. Investiga cómo se serializa un modelo Keras diferido en el grafo de tareas, incluida la cuestión de la deserialización en GPU. Se considera terminado cuando el ejemplo o el comportamiento de dask-ml estén documentados o actualizados para evitar la serialización repetida del modelo y representar el modelo como una única tarea.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

help wanted

A common approach is to train on a bit of data and then use that trained model to predict on lots of data. We could do this using ParallelPostFit in dask-ml, or we can use X.map_blocks or df.map_partitions. In either case we might want to be a bit careful about avoiding repeated serializations costs. For example, in the following case I suspect that we include the serialized model in every task

# maybe bad?
model = load_model()
predictions = X.map_blocks(model.predict)

It's probably better to encourage the user to keep the model delayed

# maybe bad?
model = dask.delayed(load_model)()
predictions = X.map_blocks(model.predict)

We should also ensure that dask-ml does this correctly, and includes the model as a single task in the graph so that it gets sent around appropriately (cc @TomAugspurger )

I'm also generally curious if a Keras model that lives on the GPU will eventually make its way back onto the GPU when deserializing.

Lenguaje dominante
Jupyter Notebook
Estrellas
385
Forks
225
Sin PR fusionados en 30 d

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de dask/dask-examples

Todos los issues de dask/dask-examples

Issues similares

Más issues de Data Engineering

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.