MTPB benchmark question 1 is duplicate of 26
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Documentación
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- testing-qa
Línea de trabajo
Compare benchmark question 1 with question 26 and inspect the benchmark data containing the stated name and description. Check whether the question was used in paper evaluations before deciding whether to alter it; done means the duplicate is resolved or the description accurately reflects question 1, with any evaluation constraint documented.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
It seems question 1 in the benchmark is actually a duplicate of 26.
In addition, the given description and name for question 1: "name": "Sandwich string", "description": "Append a string in the middle of another string." do not describe the task of question 1.
If this version of question 1 was used for paper evaluations, maybe it should not be altered now, but should the description be updated to reflect the actual task of question 1?
- Lenguaje dominante
- Python
- Estrellas
- 5.2k
- Forks
- 420
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de salesforce/CodeGen
-
Verify evals on Papers with Code Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 45/100
salesforce/CodeGen#107 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
salesforce/CodeGen#104 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
salesforce/CodeGen#101 ·
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 48/100
salesforce/CodeGen#95 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
salesforce/CodeGen#94 · 8 comentarios ·
Todos los issues de salesforce/CodeGen
Issues similares
-
bug priority:low
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
CyberAgent/psd2svg#436 ·
-
area/install-update comp/cli comp/desktop P3 sweeper:risk-compatibility type/bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
NousResearch/hermes-agent#122386 · 1 comentario ·
-
ai-generated
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
vllm-project/production-stack#1105 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100