Discrepancy in actual and expected output for subgraph test : batchNormalization options.axis=0 + gelu
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 15/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Activo
- Stack tecnológico
- tensorflow
- Área
- machine-learning, testing
Línea de trabajo
Start from the subgraph conformance test that chains batchNormalization with options.axis=0 into gelu, using the inputs and expected values in the issue. Reproduce the ULP mismatch at index 4 on the CPU backend, then compare against the other backends the reporter tried. The thread asks the working group whether the tolerance or the expected values should change, so there is no code change to make until that decision is recorded. Done means a documented decision on the tolerance, plus either an updated threshold or a fix.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Issue
I was running this conformance test for NVIDIA's TensorRT-RTX EP with ORT backend and encountered a failure.
Input:
bnInput shape [3,1,2] float32 = [-1, 0, 1, 2, 3, 4]
bnMean shape [3] float32 = [0, 3, 6]
bnVariance shape [3] float32 = [1.0, 1.5, 2.0]
Graph:
batchNormalization(input=bnInput, mean=bnMean, variance=bnVariance, {axis: 0}) -> bnOutput
gelu(bnOutput) -> output
Expected output: shape [3,1,2] float32
[-0.15865567326545715, 0, -0.08366739749908447,
-0.16910307109355927, -0.03595117852091789, -0.1112278625369072]
Error happens at index 4
actual -0.035951320081949234 should be close enough to expected -0.03595117852091789 by ULP distance: expected <= 24 but got 38
Observations
I tested this with other execution providers in ORT and other backends and encountered similar or same error.
| Backend | Actual | ULP Difference |
|---|---|---|
| ORT CPU EP | −0.035951320081949234 | 38 |
| TFLite | −0.035951387137174606 | 56 |
| LiteRT (GPU) | −0.035951387137174606 | 56 |
Question for the Working Group
- What is the expected behavior for this test ?
- Should the discrepancy between the actual and expected outputs be investigated, or is the current error tolerance too strict and in need of adjustment?
- Lenguaje dominante
- Bikeshed
- Estrellas
- 566
- Forks
- 72
- Merge medio
- 6 d 5 h
- PR fusionados (30 d)
- 1
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de webmachinelearning/webnn
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
webmachinelearning/webnn#966 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
webmachinelearning/webnn#965 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 68/100
webmachinelearning/webnn#964 · 1 comentario ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100
webmachinelearning/webnn#963 · 1 comentario · 1 reacción ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 8/100
webmachinelearning/webnn#961 ·
Todos los issues de webmachinelearning/webnn
Issues similares
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
mindspore-ai/hyper-parallel#1265 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 65/100
521xueweihan/HelloGitHub#4062 ·
-
documentation good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
selimfirat/pysad#379 ·
Los mantenedores suelen responder en 1 día
-
Harbor eval record fails as infra_failed when one trial raises unclassified DaytonaErrorPosiblemente ocupada @loom-oa-dev la tomó hoy. Abiertoagent-generated bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
marin-community/marin#10407 · 3 comentarios ·
Los mantenedores suelen responder en 1 día
-
bug mlx
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día