eval cross-judge drops the provider when splitting the judge spec
Los mantenedores suelen responder en 1 día
@vlad-perevezentsev ya está trabajando en esto.
Desde el 27/10/2026.
- #256 de @vlad-perevezentsev — abierto
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 70/100
Línea de trabajo
Empieza por el comando eval cross-judge y sigue cómo se divide el valor de --judges antes de pasar el modelo a LiteLLM. El issue identifica la entrada que falla (provider/model) y la forma funcional con doble prefijo; verifica que se conserve el provider y vuelve a ejecutar el comando contra un endpoint compatible con OpenAI. Se considera terminado cuando el judge acepta la especificación provider/model.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
In eval cross-judge --judges provider/model, the spec is split on the first slash and the bare model is passed to LiteLLM without the provider, which refuses it ("LLM Provider NOT provided"). The working form is the double prefix (openai/openai/glm-5.3), which is also why the stored judge's name in arms artifacts carries it. Tested at 691c007 against an OpenAI-compatible endpoint via OPENAI_API_BASE. Everything else in the arms/judge machinery worked against that endpoint, including the judge-validity gate, which is a genuinely useful instrument.
- Lenguaje dominante
- Python
- Estrellas
- 11
- Forks
- 9
- Merge medio
- 1 d 11 h
- PR fusionados (30 d)
- 318
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de intel/dokimi
-
Dificultad 4/5 3-5 días Aptitud para principiantes 53/100
Los mantenedores suelen responder en 1 día
-
dependencies
Dificultad 3/5 1-2 días Aptitud para principiantes 49/100
Los mantenedores suelen responder en 1 día
-
repo: Bash reads dropped where the shell could not have moved (conservative limits of #369)Posiblemente ocupada @antonwolfy la tomó hoy. Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 55/100
intel/dokimi#374 · 2 comentarios · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
record replay provenance per answer in arms artifacts so headroom can exclude cached repeatsAbierto
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
Los mantenedores suelen responder en 1 día
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 8/100
Los mantenedores suelen responder en 1 día
Todos los issues de intel/dokimi
Issues similares
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Los mantenedores suelen responder en 1 día
-
area:docs documentation effort:M ready-for-agent
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
mczielinski/ob-analytics#423 ·
Los mantenedores suelen responder en 1 día
-
infra
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 3 días
-
documentation
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
vllm-project/vllm-ascend#21033 ·
Los mantenedores suelen responder en 1 día