Caching mechanism for MLGraph
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 12/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Tranquilo
- Área
- machine-learning, performance, security
Línea de trabajo
This is an open design discussion in the WebNN spec, with no decision yet on whether compiled graph caching should exist or what it would look like. Read the linked webnn#780 thread and the privacy considerations section of the spec, which cover the timing-attack concerns the issue raises. There is no concrete change to make, so a first-time contributor should comment with input rather than start a patch.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
[ Spun off from issue webmachinelearning/webnn#780 ]
@reillyeon mentioned to me about introducing a caching mechanism for MLGraph (e.g. save it for later use and avoid repeated graph compilation). Said mechanism might help here.
I'd like to discuss this proposal from @reillyeon a bit more. I believe the group's current working assumption is that graph compilation could take a long time and caching would improve the user experience on subsequent visits to the same site (cross-origin is a harder, separate problem). Depending on the size of the model, underlying implementation and other factors, this could be a significant performance and UX improvement.
@reillyeon have you thought about this more since you came up with the idea? Known implementation blockers?
@bbernhar what could we learn from the WebGPU compilation caches for shaders, pipelines? I see some toggles in Dawn code to control caching and you've done work in this space e.g. in https://issues.chromium.org/issues/41479574 suggesting you might have insights to share.
Also paging @huningxin @fdwr and @RafaelCintron for thoughts. Interested in all insights in the spirit of brainstorming.
A few additional questions:
Do we foresee the caching of compiled graphs to be purely an implementation detail?
Privacy impact? We already discuss caching-related timing attack vectors in privacy considerations and reference the WebGPU compilation cache considerations. Depending on which way we go, might want to revise these considerations.
- Lenguaje dominante
- Bikeshed
- Estrellas
- 566
- Forks
- 72
- Merge medio
- 6 d 5 h
- PR fusionados (30 d)
- 1
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de webmachinelearning/webnn
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
webmachinelearning/webnn#967 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
webmachinelearning/webnn#966 · 1 comentario ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
webmachinelearning/webnn#965 · 1 comentario ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 68/100
webmachinelearning/webnn#964 · 1 comentario · 1 reacción ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100
webmachinelearning/webnn#963 · 3 comentarios · 2 reacciones ·
Todos los issues de webmachinelearning/webnn
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
discussion tuning
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
stew675/llama-cpp-rdna-boosts#214 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
aws-samples/sample-aiml-security-assessment#90 ·
Los mantenedores suelen responder en 8 días
-
Eval bug: minimax-m3: build_moe_ffn() drops the per-expert NVFP4 scale → garbled output (M3.1 Flash)Abiertobug-unconfirmed
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Los mantenedores suelen responder en 1 día
-
Categorical trees: error message and docstring state the wrong limit for categorical_featuresAbiertoNeeds Triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
scikit-learn/scikit-learn#35221 ·
Los mantenedores suelen responder en 1 día