Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Feat: Implement `:tagged_summary` report format

Aperta
  • Qualcosa non va?
#2 3 commenti 2 reazioni 0 assegnatari Vedi su GitHub

@SubWal ci sta già lavorando.

Dal 7/10/2026.

Valutazione

Difficoltà
3/5
Tempo stimato
1-2 giorni
Idoneità per principianti
35/100
Tipo di issue
Funzionalità
Chiarezza
Specificata chiaramente
Stato di attività
Ferma
Stack tecnologico
elixir
Ambito
analytics

Direzione di ricerca

Inizia in evals/formatter.ex, in Evals.Formatter.format_report/3, e confronta i formati esistenti :full e :summary. Implementa l’opzione :tagged_summary usando i risultati delle eval completate, quindi verifica che i tag univoci siano ordinati alfabeticamente, che le medie siano leggibili, che i risultati senza tag vengano omessi correttamente e che i formati esistenti rimangano invariati.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

enhancement
Is your feature request related to a problem? Please describe.

Labels: feature, reporting, formatter

Dependencies: Blocks Ticket #1 (YAML Metadata Parsing)

Description:
As a model evaluator, I want a report format that groups evaluation results by their tags. This will allow for a more granular analysis of a model's performance, helping to identify strengths and weaknesses in specific areas like otp, ecto, or pattern-matching.

This requires creating a new report format option, :tagged_summary.

Describe the solution you'd like

Acceptance Criteria:

  • The Evals.Formatter.format_report/3 function accepts a new value for the :format option: :tagged_summary.
  • When format: :tagged_summary is used, the report output should:
    1. List each unique tag found across all completed evals.
    2. For each tag, display the average score of all evals that include that tag.
    3. The list of tags should be sorted alphabetically for consistent output.
    4. The final report must be clean and human-readable.
  • The implementation must not break the existing :full and :summary report formats.
  • If no evals have tags, this section of the report should be gracefully omitted.

Implementation Notes:

  • This work will be done in evals/formatter.ex.
  • A new private function, such as format_tagged_summary(results), will likely be needed.
  • The logic will involve:
    1. Reducing the results list into a map where keys are tags and values are lists of scores (e.g., %{otp: [1.0, 0.5], elixir_core: [1.0, 1.0, 0.5], ...}).
    2. Transforming this map to calculate the average score for each tag.
    3. Sorting the results by tag name before formatting them into strings.

Example Output:

... (Overall Summary) ...

TAGGED SUMMARY:
----------------------------------------
elixir-core          | 83.3%
ecosystem            | 100.0%
otp                  | 75.0%
pattern-matching     | 100.0%
security             | 0.0%

... (Detailed Results or end of report) ...
Describe alternatives you've considered

No response

Additional context

No response

Lingua principale
Elixir
Stelle
51
Fork
6
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di ash-project/evals

Tutte le issue di ash-project/evals

Issue simili

Altre issue su Elixir

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.