Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Interest check: example for exporting chat.chat() results as portable eval fixtures (EvalPort)?

Aperta
#262 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
58/100
Tipo di issue
Documentazione
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
python
Ambito
documentation

Direzione di ricerca

Review the existing examples/ directory and the streaming helpers to see how chat.chat() usage is currently demonstrated. Assess whether a short EvalPort export example fits the library’s scope; done means adding a self-contained example only if it matches the project’s conventions and maintainers approve the direction.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Hi! I maintain EvalPort, a small open spec (JSON Schema + Python/TS SDKs) for portable LLM eval datasets — test suites, test cases, and result sets meant to move between different eval tools instead of each one inventing its own file format.

This SDK's client.chat.chat(messages=..., model="palmyra-x5") response already carries what's needed for a lightweight eval record — the input messages, model, choices[0].message.content, and id. Something like:

from evalport import TestResult

def to_evalport(messages, model, chat_completion) -> TestResult:
    return TestResult(
        test_case_id=chat_completion.id,
        input={"messages": messages},
        actual_output=chat_completion.choices[0].message.content,
        metadata={"model": model},
    )

I know this SDK is Stainless-generated, so I'm not proposing a change to the generated client — more asking whether a short snippet like this would be worth having in examples/ alongside the streaming helpers, or whether it's not a good fit for a library this thin. Genuinely fine either way, just wanted to check before doing anything.

Spec, for context: https://github.com/adhabnr-ux/evalport/blob/main/SPEC.md

No pressure — feel free to close this if it's not useful.

Lingua principale
Python
Stelle
11
Fork
2
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Guida per i contributori

Apri la guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di writer/writer-python

Tutte le issue di writer/writer-python

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.