Propietario

EleutherAI

52 repositorios indexados · Ver en GitHub

lm-evaluation-harness
A framework for few-shot evaluation of language models.

Python · 14031 estrellas
gpt-neox
An implementation of model parallel autoregressive transformers on GPUs, based on the Megatron and DeepSpeed libraries

Python · 7462 estrellas
pythia
The hub for EleutherAI's work on interpretability and learning dynamics

Jupyter Notebook · 2936 estrellas
the-pile

Python · 1677 estrellas
math-lm

Python · 1097 estrellas
cookbook
Deep learning for dummies. All the practical details and useful utilities that go into working with real models.

Python · 852 estrellas
sparsify
Sparsify transformers with SAEs and transcoders

Python · 739 estrellas
polyglot
Polyglot: Large Language Models of Well-balanced Competence in Multi-languages

488 estrellas
DALLE-mtf
Open-AI's DALL-E for large scale training in mesh-tensorflow.

Python · 432 estrellas
vqgan-clip

Jupyter Notebook · 354 estrellas
delphi
Delphi was the home of a temple to Phoebus Apollo, which famously had the inscription, 'Know Thyself.' This library lets language models ...

Python · 275 estrellas
concept-erasure
Erasing concepts from neural representations with provable guarantees

Python · 268 estrellas
elk
Keeping language models honest by directly eliciting knowledge encoded in their activations.

Python · 225 estrellas
oslo
OSLO: Open Source for Large-scale Optimization

Python · 176 estrellas
lm_perplexity

Python · 165 estrellas
knowledge-neurons
A library for finding knowledge neurons in pretrained transformer models.

Python · 160 estrellas
pyfra
Python Research Framework

Python · 107 estrellas
openwebtext2

Python · 94 estrellas
dps
Data processing system for polyglot

Python · 93 estrellas
stackexchange-dataset
Python tools for processing the stackexchange data dumps into a text dataset for Language Models

Python · 87 estrellas
32 repositorios más están en Ver en GitHub

Para principiantes Todo

Abierto Todos

IFEval language checks produce inconsistent scores for identical text Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100

EleutherAI/lm-evaluation-harness#4213 · Abierto el 23/9/2026
`mbpp_plus_instruct` grades against the assertion printed in its own prompt, and never uses the MBPP+ test suite Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 65/100

EleutherAI/lm-evaluation-harness#4212 · 3 comentarios · Abierto el 23/9/2026
flan MMLU MultiChoiceRegexFilter raises IndexError on an all-empty capture tuple (bbh fix #4125 missed these copies) Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100

EleutherAI/lm-evaluation-harness#4207 · Abierto el 22/9/2026
Transient entry-point errors permanently disable plugin discovery Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100

EleutherAI/lm-evaluation-harness#4203 · Abierto el 22/9/2026
RemoteTokenizer retries drop per-request timeout override Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100

EleutherAI/lm-evaluation-harness#4201 · Abierto el 22/9/2026
Release new containers on DockerHub Abierto

feature request

EleutherAI/gpt-neox#1435 · 1 asignado · Abierto el 20/9/2026
Support explicit attention `head_dim` independent of `hidden_size / num_attention_heads` Abierto

feature request

EleutherAI/gpt-neox#1434 · 1 asignado · Abierto el 20/9/2026
`--wandb_args` without W&B installed ends in UnboundLocalError Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 75/100

EleutherAI/lm-evaluation-harness#4193 · Abierto el 20/9/2026
New-task guide omits required wiring for function-backed few-shot samples Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100

EleutherAI/lm-evaluation-harness#4191 · Abierto el 20/9/2026
Fix ineffective gradient clipping caused by duplicate arguments and mismatched defaults Abierto

bug

EleutherAI/gpt-neox#1432 · 1 comentario · 1 asignado · Abierto el 18/9/2026
`mmlu_*_generative` `get_response` compares the whole first line to the gold letter — models that prefix or explain their answer score exactly 0.000 Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 70/100

EleutherAI/lm-evaluation-harness#4187 · 2 comentarios · Abierto el 18/9/2026
Python API guide passes unsupported num_fewshot to evaluate() Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100

EleutherAI/lm-evaluation-harness#4185 · Abierto el 18/9/2026
Metadata n-shot override is ignored in collected results Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100

EleutherAI/lm-evaluation-harness#4183 · Abierto el 18/9/2026
An apostrophe in a CLI value silently swallows every following key=value argument Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 48/100

EleutherAI/lm-evaluation-harness#4178 · Abierto el 17/9/2026
longbench2_multi group omits longbench2_legal_multi, so it disagrees with the longbench2 tag roll-up Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 92/100

EleutherAI/lm-evaluation-harness#4175 · Abierto el 16/9/2026
Add methods to improve model stability by controlling the magnitude of linear layers outputs (including logits) Abierto

feature request

EleutherAI/gpt-neox#1431 · 1 asignado · Abierto el 16/9/2026
Shared tasks are double-counted in nested group aggregation Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 76/100

EleutherAI/lm-evaluation-harness#4171 · Abierto el 16/9/2026
Finite retry exhaustion returns None instead of raising Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100

EleutherAI/lm-evaluation-harness#4169 · Abierto el 16/9/2026
Group rows keep a 0.0 stderr when every subtask is entirely on the boundary, so the row with the most evidence carries no bound Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 72/100

EleutherAI/lm-evaluation-harness#4159 · Abierto el 14/9/2026
GGUF backend's echo=true handling doesn't work against current llama-server — every loglikelihood request fails Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 55/100

EleutherAI/lm-evaluation-harness#4158 · Abierto el 14/9/2026
MELA group omits Icelandic and lists Arabic twice Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 78/100

EleutherAI/lm-evaluation-harness#4153 · Abierto el 14/9/2026
Enquiring about the training data and configs Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

EleutherAI/aria-amt#67 · Abierto el 12/9/2026
CLI key-value parser preserves whitespace in argument names Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100

EleutherAI/lm-evaluation-harness#4147 · Abierto el 12/9/2026
Few-shot fallback can include the evaluation document in its own prompt Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 78/100

EleutherAI/lm-evaluation-harness#4145 · Abierto el 12/9/2026
leaderboard/math: normalize_final_answer strips "ft" by substring, mangling \infty and \left in stored gold targets Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100

EleutherAI/lm-evaluation-harness#4142 · Abierto el 12/9/2026
Cyclic result hierarchies crash or flatten during table formatting Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 74/100

EleutherAI/lm-evaluation-harness#4133 · Abierto el 11/9/2026
Several Unused Args Abierto

bug

EleutherAI/gpt-neox#1420 · 1 asignado · Abierto el 5/9/2026
Upgrade Transformer Engine support from 1.12 to 2.18 Abierto

feature request

EleutherAI/gpt-neox#1417 · 1 asignado · Abierto el 4/9/2026
undistribute drops legitimate None values from worker results Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100

EleutherAI/lm-evaluation-harness#4097 · Abierto el 4/9/2026
`escaped_split` treats separators as regex syntax and returns the wrong type for zero splits Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100

EleutherAI/lm-evaluation-harness#4095 · Abierto el 4/9/2026
`positional_deprecated` never warns for decorated functions Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100

EleutherAI/lm-evaluation-harness#4093 · Abierto el 4/9/2026
Checkpoint Hessian fit Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 55/100

EleutherAI/bergson#453 · 1 comentario · Abierto el 3/9/2026
Two cache/sample logging integrity issues: request-cache keys omit the task config (stale prompts reported as the new config); --samples logs wrong doc ids for unsorted lists Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 72/100

EleutherAI/lm-evaluation-harness#4084 · 3 comentarios · Abierto el 2/9/2026
At 0 (or 100%) accuracy the reported stderr is exactly 0.0 at any N, so null results claim infinite precision; a boundary-aware interval or flag would fix it Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 45/100

EleutherAI/lm-evaluation-harness#4070 · 2 comentarios · Abierto el 31/8/2026
Response cache (`--use_cache`) is not keyed by model, so one cache silently serves model A's outputs while reporting them as model B's results Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 55/100

EleutherAI/lm-evaluation-harness#4063 · 1 reacción · Abierto el 29/8/2026
Unscorable samples silently leave the metric denominator, inflating headline scores Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 52/100

EleutherAI/lm-evaluation-harness#4062 · 9 comentarios · Abierto el 29/8/2026
OpenAI-compat: local-chat-completions with full /v1/chat/completions URL Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 45/100

EleutherAI/lm-evaluation-harness#4058 · Abierto el 28/8/2026
Allow a retrain bank to be built without precomputed scores Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 70/100

EleutherAI/bergson#446 · 2 comentarios · Abierto el 28/8/2026
Feature request: EvalPort import/export for per-document samples and results Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 68/100

EleutherAI/lm-evaluation-harness#4022 · 2 comentarios · Abierto el 20/8/2026
Generative-task scorers cannot distinguish an unparseable response from a wrong answer (census: 2,936/4,524 tasks affected) Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 52/100

EleutherAI/lm-evaluation-harness#4007 · 2 comentarios · Abierto el 16/8/2026
pythia-12b: step50000 and step58000 serve the final checkpoint's first shard (embed_in + early layers) Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

EleutherAI/pythia#206 · Abierto el 14/8/2026
pythia-2.8b: 86 of 154 step branches (incl. step0 and the entire early grid) serve final-era checkpoint content Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

EleutherAI/pythia#205 · Abierto el 14/8/2026
Fix broken Discord link in contributing guide Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 95/100

EleutherAI/lm-evaluation-harness#3989 · Abierto el 10/8/2026
mmlu_flan_cot_zeroshot group-level aggregate never populates (metric name mismatch: acc vs exact_match) Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100

EleutherAI/lm-evaluation-harness#3986 · Abierto el 7/8/2026
All 31 tmlu tasks fail to load: miulab/tmlu returns HTTP 401 and has no mirror Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

EleutherAI/lm-evaluation-harness#3985 · Abierto el 7/8/2026
CI: run-tests prepares data before installing Python dependencies Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100

EleutherAI/gpt-neox#1413 · Abierto el 3/8/2026
Proposal: opt-in pre-registration for eval claims (lock threshold + task-config hash before the run) Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100

EleutherAI/lm-evaluation-harness#3967 · Abierto el 30/7/2026
leaderboard_math: exact_match_stderr published as exactly 0.0 for scores strictly between 0 and 1 Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 52/100

EleutherAI/lm-evaluation-harness#3966 · 4 comentarios · Abierto el 30/7/2026
sqlitedict is very old and has security related issues Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

EleutherAI/lm-evaluation-harness#3964 · Abierto el 30/7/2026
Feature: Add Kimi K3 model configuration for API-based evaluation Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

EleutherAI/lm-evaluation-harness#3961 · Abierto el 29/7/2026

Mostrando los 100 más recientes

Esta página solo lista lo indexado más recientemente. El filtro avanzado tiene el inventario completo, acotado por lenguaje, dificultad y duración.

Abrir el filtro avanzado

EleutherAI

Mostrando los 100 más recientes

Recibe los nuevos issues en tu correo