Interest check: example for exporting chat.chat() results as portable eval fixtures (EvalPort)?
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 58/100
- Tipo de issue
- Documentación
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- python
- Área
- documentation
Línea de trabajo
Review the existing examples/ directory and the streaming helpers to see how chat.chat() usage is currently demonstrated. Assess whether a short EvalPort export example fits the library’s scope; done means adding a self-contained example only if it matches the project’s conventions and maintainers approve the direction.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi! I maintain EvalPort, a small open spec (JSON Schema + Python/TS SDKs) for portable LLM eval datasets — test suites, test cases, and result sets meant to move between different eval tools instead of each one inventing its own file format.
This SDK's client.chat.chat(messages=..., model="palmyra-x5") response already carries what's needed for a lightweight eval record — the input messages, model, choices[0].message.content, and id. Something like:
from evalport import TestResult
def to_evalport(messages, model, chat_completion) -> TestResult:
return TestResult(
test_case_id=chat_completion.id,
input={"messages": messages},
actual_output=chat_completion.choices[0].message.content,
metadata={"model": model},
)
I know this SDK is Stainless-generated, so I'm not proposing a change to the generated client — more asking whether a short snippet like this would be worth having in examples/ alongside the streaming helpers, or whether it's not a good fit for a library this thin. Genuinely fine either way, just wanted to check before doing anything.
Spec, for context: https://github.com/adhabnr-ux/evalport/blob/main/SPEC.md
No pressure — feel free to close this if it's not useful.
- Lenguaje dominante
- Python
- Estrellas
- 11
- Forks
- 2
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de writer/writer-python
-
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
writer/writer-python#156 ·
Todos los issues de writer/writer-python
Issues similares
-
documentation
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
kristofdegrave/homeassistant-smart-charging#1413 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
nasa/earthdata-varinfo#113 ·
-
curriculum documentation quality
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
githubnext/gh-aw-workshop#3849 ·
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 90/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día