[Engine] STRATA_VERIFY_DEVICE_PLAN: layer 1 can copy the previous window's PLE rows (non-deterministic replies)

Abierto Apto para principiantes
#6,357 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 6 días

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
2/5
Tiempo estimado
1-3 horas
Aptitud para principiantes
70/100
Tipo de issue
Error
Claridad
Bien especificado
Estado de actividad
Activo
Stack tecnológico
cpp
Área
ai

Línea de trabajo

Abre engine/src/core/verify.cpp y busca Verifier::record_window alrededor de la línea 1527, donde la copia PLE de la capa 1 está protegida por ar_on(). Lee cómo la espera del host de la capa 0 en el grafo de doorbell ordena esa copia y luego compara con la ruta planificada en el dispositivo, que nunca espera. Aplica el cambio de una sola línea para que la espera también se active cuando device_plan_ esté establecido, y confirma que está hecho ejecutando dos veces prompts greedy con STRATA_VERIFY_DEVICE_PLAN=1 y comprobando que las salidas coinciden.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Problem

With STRATA_VERIFY_DEVICE_PLAN=1 (E-6), greedy replies on my Tesla V100 differed from run to run. They also
differed from the doorbell graph's replies with the same settings. I saw this on 0.2.12 (CUDA). The code below is
unchanged in 0.2.16.

Cause

In Verifier::record_window (engine/src/core/verify.cpp, 0.2.16 line 1527), layer 1's PLE copy waits for the host
only when ar_on():

if (l == 1 && ple_on) {
    if (grp == 0) {
        if (ar_on()) wait_flag_ge(m_flag_, 1, cs);
        copy_from_mapped(ple_, m_ple_, (int64_t) T * N, cs);

In the doorbell graph, layer 0's own wait on the host orders this copy after the host has gathered the PLE rows
(the host does that during its step 0, before it raises flag 1). A device-planned layer 0 does not wait for the host
at all. So the copy can read m_ple_ before the host has written this window's rows, and it gets the previous
window's rows.

Fix

The same wait when the device plans the layer:

        if (ar_on() || device_plan_) wait_flag_ge(m_flag_, 1, cs);

Commit with only this change (one line + a comment):
https://github.com/ksooad/Strata/commit/0b65aa8cc

Validation

  • Tesla V100-SXM2-32GB, 0.2.12, Qwen3.8-Flash-Next UD-Q3_K_XL, --adapt-swaps 0 --pcie-frac 0 (deterministic engine).
    Before the fix, the greedy texts of a fixed prompt set (6 prompts, 400 tokens) differed from run to run with
    STRATA_VERIFY_DEVICE_PLAN=1. After the fix they were identical between runs.
  • Not run: 0.2.16 with STRATA_VERIFY_DEVICE_PLAN=1 and without the fix. Only the code was compared, and the line is
    unchanged. Also not run: any SYCL build.
Lenguaje dominante
C++
Estrellas
11.6k
Forks
1k
Merge medio
18 d 13 h
PR fusionados (30 d)
4

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de Niko1221/Strata

Todos los issues de Niko1221/Strata

Issues similares

Más issues de C++

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.