Evaluation 2.0: Transition to v2 API
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 45/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- typescript
Línea de trabajo
Empieza siguiendo los flujos actuales de v1 de la consola para la carga de datasets, el disparo de ejecuciones, improve-prompt y la UI de scoring. Compara cada flujo con el contrato de la API v2 y verifica después las tres métricas de judge, los veredictos, el resumen general, el override de duplicación y el bucle de iteración de prompts en la UI. Se considera terminado cuando todos los flujos enumerados utilizan el comportamiento de v2.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Is your feature request related to a problem?
The console currently uses the v1 evaluation API, which lacks the features and speed of v2. The new v2 API offers significant improvements, including a better scoring system and additional functionalities that are not currently represented in the UI.
Describe the solution you'd like
- Transition dataset upload, run trigger, and improve-prompt to the v2 endpoints
- Update scoring UI to reflect the three judge metrics, verdicts, and overall summary
- Introduce v2-specific controls: per-run duplication override and prompt-iteration loop
- Lenguaje dominante
- TypeScript
- Estrellas
- 1
- Forks
- 0
- Merge medio
- 19 h 4 min
- PR fusionados (30 d)
- 6
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ProjectTech4DevAI/kaapi-frontend
-
enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
ProjectTech4DevAI/kaapi-frontend#267 ·
Los mantenedores suelen responder en 1 día
-
enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
ProjectTech4DevAI/kaapi-frontend#266 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
ProjectTech4DevAI/kaapi-frontend#261 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
ProjectTech4DevAI/kaapi-frontend#258 · 3 comentarios ·
Los mantenedores suelen responder en 1 día
-
Assessment: Include input columns in resultsPosiblemente ocupada @vprashrex la tomó hace 11 días. Abiertobug enhancement
ProjectTech4DevAI/kaapi-frontend#286 · 1 asignado ·
Los mantenedores suelen responder en 1 día
Todos los issues de ProjectTech4DevAI/kaapi-frontend
Issues similares
-
enhancement providers-api ui-dashboard
Dificultad 2/5 1-3 horas Aptitud para principiantes 61/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día
-
external-issue to-triage
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
Los mantenedores suelen responder en 1 día
-
needs triage
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
homarr-labs/homarr#6976 · 2 comentarios ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día