elastic/elastic-evals-sdk-python

Vedi su GitHub

Offline LLM evaluation framework

Stelle: 2
Fork: 0
Issue aperte per principianti: 1
Issue indicizzate: 21
Merge medio: 1g 5h
PR unite (30g): 17

Lingua principale: Python
Licenza: Nessun dato sulla licenza
Ultimo push su GitHub: 16/9/2026
Ultima indicizzazione: 15/9/2026
Guida per i contributori: Nessuna guida per i contributori
Codice di condotta: Nessun codice di condotta
Label per principianti: Nessuna label per principianti indicizzata

Adatte ai principianti Tutto

Aperta Tutte

18 issue aperte indicizzate

Run id baggage never reaches spans or Kibana, and uses a key Kibana does not read Aperta

kbn-evals Team:nightshift-context-and-research

Difficoltà 4/5 3-5 giorni Idoneità per principianti 64/100

elastic/elastic-evals-sdk-python#72 · Aperta il 16/9/2026
[kbn-evals] Non-dict expected output is silently dropped before Kibana upload Aperta

kbn-evals Team:nightshift-context-and-research

Difficoltà 3/5 1-2 giorni Idoneità per principianti 78/100

elastic/elastic-evals-sdk-python#70 · Aperta il 14/9/2026
Experiment results URL points to nonexistent Kibana /runs/ route Aperta

Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100

elastic/elastic-evals-sdk-python#64 · Aperta il 9/9/2026
[kbn-evals] Add IR evaluators with rank-based metrics (HitRate@K, MRR@K, NDCG@K, MAP@K) Aperta

kbn-evals Team:nightshift-context-and-research

Difficoltà 4/5 3-5 giorni Idoneità per principianti 50/100

elastic/elastic-evals-sdk-python#60 · Aperta il 3/9/2026
[kbn-evals] Code quality and dead-code cleanup Aperta

kbn-evals Team:nightshift-context-and-research

Difficoltà 5/5 Più di una settimana Idoneità per principianti 32/100

elastic/elastic-evals-sdk-python#43 · Aperta il 12/8/2026
[kbn-evals] Small correctness (UX) fixes Aperta

kbn-evals Team:nightshift-context-and-research

Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

elastic/elastic-evals-sdk-python#42 · Aperta il 12/8/2026
[kbn-evals] Repository and CI health Aperta

kbn-evals Team:nightshift-context-and-research

Difficoltà 4/5 3-5 giorni Idoneità per principianti 52/100

elastic/elastic-evals-sdk-python#41 · Aperta il 12/8/2026
[kbn-evals] Examples should not ship in the installed wheel Aperta

kbn-evals Team:nightshift-context-and-research

Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100

elastic/elastic-evals-sdk-python#40 · Aperta il 12/8/2026
[kbn-evals] HTTP efficiency: connection pooling and score batching Aperta

kbn-evals Team:nightshift-context-and-research

Difficoltà 4/5 3-5 giorni Idoneità per principianti 55/100

elastic/elastic-evals-sdk-python#39 · Aperta il 12/8/2026
[kbn-evals] KibanaInferenceClient bypasses shared retry and error stack Aperta

kbn-evals Team:nightshift-context-and-research

Difficoltà 4/5 3-5 giorni Idoneità per principianti 68/100

elastic/elastic-evals-sdk-python#38 · Aperta il 12/8/2026
[kbn-evals] connector_id reported as model identity Aperta

kbn-evals Team:nightshift-context-and-research

Difficoltà 4/5 3-5 giorni Idoneità per principianti 52/100

elastic/elastic-evals-sdk-python#37 · Aperta il 12/8/2026
[kbn-evals] Replace evaluator factories with named classmethods Aperta

kbn-evals Team:nightshift-context-and-research

Difficoltà 4/5 3-5 giorni Idoneità per principianti 52/100

elastic/elastic-evals-sdk-python#36 · Aperta il 12/8/2026
[kbn-evals] Tutorial-grade onboarding example Aperta

kbn-evals Team:nightshift-context-and-research

elastic/elastic-evals-sdk-python#35 · 1 assegnatario · Aperta il 12/8/2026
[kbn-evals] Documentation: prerequisites, quick start, env vars, evaluator reference Aperta

kbn-evals Team:nightshift-context-and-research

Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

elastic/elastic-evals-sdk-python#34 · Aperta il 12/8/2026
[kbn-evals] Evaluator discovery and preflight validation Aperta

kbn-evals Team:nightshift-context-and-research

Difficoltà 4/5 3-5 giorni Idoneità per principianti 58/100

elastic/elastic-evals-sdk-python#33 · Aperta il 12/8/2026
KibanaInferenceClient sends no Authorization header (401 on real Kibana) Aperta

bug

Difficoltà 3/5 1-2 giorni Idoneità per principianti 76/100

elastic/elastic-evals-sdk-python#8 · Aperta il 9/7/2026
Shift phoenix tracing away from the framework Aperta

elastic/elastic-evals-sdk-python#3 · 1 reazione · 2 assegnatari · Aperta il 5/2/2026
Add unit tests for the basic functionality Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

elastic/elastic-evals-sdk-python#2 · Aperta il 5/2/2026

elastic/elastic-evals-sdk-python

Ricevi le nuove issue nella tua casella