Performance Results on HumanEval

Abierto

#25 abierto el 17/2/2023 1 comentario 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad: 5/5
Tiempo estimado: Más de una semana
Aptitud para principiantes: 20/100

Tipo de issue: Nueva funcionalidad
Claridad: Necesita aclaración
Estado de actividad: Estancado
Stack tecnológico: python
Área: machine-learning

Línea de trabajo

The issue names no files, tests, or entry points. First inspect the CodeRL repository and the paper's APPS/Codex evaluation setup to determine whether a HumanEval evaluation path exists; done would be a documented HumanEval comparison or a clear statement of scope.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

I am reading your CodeRL paper. It uses the APPS benchmark to show the performance comparison with Codex. Do you have any comparison results using the HumanEval dataset?

Lenguaje dominante: Python
Estrellas: 576
Forks: 69
Métricas de merge de PR: Sin PR fusionados en 30 d

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Primeros pasos

Lee el issue completo y luego la guía de contribución del proyecto.
Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
Haz un fork del repositorio y trabaja en una rama.
Abre un pull request que haga referencia al número del issue.

Más de salesforce/CodeRL

I have a question for Henryhungle about CodeRL. Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 10/100

salesforce/CodeRL#65 · Abierto el 24/11/2025
CodeRL模型谷歌云盘访问遭拒 Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 10/100

salesforce/CodeRL#64 · Abierto el 23/11/2025
Models - Access Denied Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 10/100

salesforce/CodeRL#63 · Abierto el 22/11/2025
TypeError: __init__() got an unexpected keyword argument 'tuning_mode' Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 32/100

salesforce/CodeRL#61 · 3 comentarios · Abierto el 2/12/2024
I couldn't find the path models/codet5_tokenizer/. Is this supposed to be my output path? Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 20/100

salesforce/CodeRL#60 · Abierto el 2/12/2024

Todos los issues de salesforce/CodeRL

Issues similares

docs: update workflows.md for slide deck Node test discovery Abierto

agent-ready documentation needs-triage

Dificultad 1/5 1-3 horas Aptitud para principiantes 88/100

microsoft/hve-core#3012 · Abierto el 25/9/2026
config_keys.rst says every result file PyBNF writes is alphabetical, but the credible-interval files and start_point.txt use declaration order Abierto

documentation

Dificultad 1/5 Menos de una hora Aptitud para principiantes 91/100

lanl/PyBNF#932 · Abierto el 25/9/2026
workflow-status page template still says reusable workflows are "triggered only by workflow_call:" Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 92/100

LearningCircuit/local-deep-research#6804 · Abierto el 24/9/2026
Add https://search.jeremyh.xyz/ Abierto

instance instance add

Dificultad 1/5 Menos de una hora Aptitud para principiantes 72/100

searxng/searx-instances#939 · 1 comentario · Abierto el 24/9/2026
Azure Sandboxes: Small and ExtraSmall tiers always fail to deploy (disk request exceeds tier maximum) Abierto

area-deployment area-integrations triage:bot-seen

Dificultad 2/5 Medio día Aptitud para principiantes 86/100

microsoft/aspire#20459 · 1 comentario · Abierto el 24/9/2026

Más issues de Python