Integrate JudgeArena into oellm-eval
@kargibora já está trabalhando nisso.
Desde 30/6/2026.
Avaliação
Esta issue ainda não foi avaliada.
Descrição
We need to integrate JudgeArena to oellm-eval to be able to run LLM judge evaluations easily for our instructions tuned models.
Possible step recommended:
- look at PR which integrated evalchemy backend https://github.com/OpenEuroLLM/oellm-eval/pull/56
- iterate until a single task work in local mode
- test on LUMI
- Linguagem predominante
- Sem dados de linguagem
- Estrelas
- 3
- Forks
- 0
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de OpenEuroLLM/Taskboard
-
[nucleus sparse] Experiment setupTalvez já em andamento @aaronkl assumiu há 11 dias. AbertaT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 comentário · 1 reação · 1 responsável ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scalingTalvez já em andamento @ibaucells assumiu há 11 dias. AbertaT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 comentários · 1 responsável ·
-
Synthetic Generation for Multilingual Instruction TuningTalvez já em andamento @abhash-er assumiu há 12 dias. Aberta4.6 post-training
OpenEuroLLM/Taskboard#437 · 1 responsável ·
-
Safety and alignment evaluationTalvez já em andamento @BirgerMoell assumiu há 12 dias. Aberta4.6 post-training
OpenEuroLLM/Taskboard#436 · 1 responsável ·
-
Finding optimal dataset mixtures for DPOTalvez já em andamento @geoalgo assumiu há 12 dias. Aberta4.6 post-training
OpenEuroLLM/Taskboard#435 · 3 responsáveis ·