elastic/elastic-evals-sdk-python

Ver en GitHub

Offline LLM evaluation framework

Estrellas: 2
Forks: 0
Issues abiertos para principiantes: 1
Issues indexados: 21
Merge medio: 1 d 5 h
PR fusionados (30 d): 17

Lenguaje dominante: Python
Licencia: Sin datos de licencia
Último push a GitHub: 16/9/2026
Última indexación: 15/9/2026
Guía de contribución: Sin guía de contribución
Código de conducta: Sin código de conducta
Etiquetas para principiantes: Sin etiquetas para principiantes indexadas

Para principiantes Todo

Abierto Todos

18 issues abiertos indexados

Run id baggage never reaches spans or Kibana, and uses a key Kibana does not read Abierto

kbn-evals Team:nightshift-context-and-research

Dificultad 4/5 3-5 días Aptitud para principiantes 64/100

elastic/elastic-evals-sdk-python#72 · Abierto el 16/9/2026
[kbn-evals] Non-dict expected output is silently dropped before Kibana upload Abierto

kbn-evals Team:nightshift-context-and-research

Dificultad 3/5 1-2 días Aptitud para principiantes 78/100

elastic/elastic-evals-sdk-python#70 · Abierto el 14/9/2026
Experiment results URL points to nonexistent Kibana /runs/ route Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 68/100

elastic/elastic-evals-sdk-python#64 · Abierto el 9/9/2026
[kbn-evals] Add IR evaluators with rank-based metrics (HitRate@K, MRR@K, NDCG@K, MAP@K) Abierto

kbn-evals Team:nightshift-context-and-research

Dificultad 4/5 3-5 días Aptitud para principiantes 50/100

elastic/elastic-evals-sdk-python#60 · Abierto el 3/9/2026
[kbn-evals] Code quality and dead-code cleanup Abierto

kbn-evals Team:nightshift-context-and-research

Dificultad 5/5 Más de una semana Aptitud para principiantes 32/100

elastic/elastic-evals-sdk-python#43 · Abierto el 12/8/2026
[kbn-evals] Small correctness (UX) fixes Abierto

kbn-evals Team:nightshift-context-and-research

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

elastic/elastic-evals-sdk-python#42 · Abierto el 12/8/2026
[kbn-evals] Repository and CI health Abierto

kbn-evals Team:nightshift-context-and-research

Dificultad 4/5 3-5 días Aptitud para principiantes 52/100

elastic/elastic-evals-sdk-python#41 · Abierto el 12/8/2026
[kbn-evals] Examples should not ship in the installed wheel Abierto

kbn-evals Team:nightshift-context-and-research

Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100

elastic/elastic-evals-sdk-python#40 · Abierto el 12/8/2026
[kbn-evals] HTTP efficiency: connection pooling and score batching Abierto

kbn-evals Team:nightshift-context-and-research

Dificultad 4/5 3-5 días Aptitud para principiantes 55/100

elastic/elastic-evals-sdk-python#39 · Abierto el 12/8/2026
[kbn-evals] KibanaInferenceClient bypasses shared retry and error stack Abierto

kbn-evals Team:nightshift-context-and-research

Dificultad 4/5 3-5 días Aptitud para principiantes 68/100

elastic/elastic-evals-sdk-python#38 · Abierto el 12/8/2026
[kbn-evals] connector_id reported as model identity Abierto

kbn-evals Team:nightshift-context-and-research

Dificultad 4/5 3-5 días Aptitud para principiantes 52/100

elastic/elastic-evals-sdk-python#37 · Abierto el 12/8/2026
[kbn-evals] Replace evaluator factories with named classmethods Abierto

kbn-evals Team:nightshift-context-and-research

Dificultad 4/5 3-5 días Aptitud para principiantes 52/100

elastic/elastic-evals-sdk-python#36 · Abierto el 12/8/2026
[kbn-evals] Tutorial-grade onboarding example Abierto

kbn-evals Team:nightshift-context-and-research

elastic/elastic-evals-sdk-python#35 · 1 asignado · Abierto el 12/8/2026
[kbn-evals] Documentation: prerequisites, quick start, env vars, evaluator reference Abierto

kbn-evals Team:nightshift-context-and-research

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

elastic/elastic-evals-sdk-python#34 · Abierto el 12/8/2026
[kbn-evals] Evaluator discovery and preflight validation Abierto

kbn-evals Team:nightshift-context-and-research

Dificultad 4/5 3-5 días Aptitud para principiantes 58/100

elastic/elastic-evals-sdk-python#33 · Abierto el 12/8/2026
KibanaInferenceClient sends no Authorization header (401 on real Kibana) Abierto

bug

Dificultad 3/5 1-2 días Aptitud para principiantes 76/100

elastic/elastic-evals-sdk-python#8 · Abierto el 9/7/2026
Shift phoenix tracing away from the framework Abierto

elastic/elastic-evals-sdk-python#3 · 1 reacción · 2 asignados · Abierto el 5/2/2026
Add unit tests for the basic functionality Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

elastic/elastic-evals-sdk-python#2 · Abierto el 5/2/2026

elastic/elastic-evals-sdk-python

Recibe los nuevos issues en tu correo