Packaging and versioning for benchmarking tools and utilities / 基准测试工具和实用程序的打包与版本管理
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Tranquilo
- Stack tecnológico
- docker, python
- Área
- build-system, release, tooling
Línea de trabajo
The issue names no files, tests, or entry points. Start by reviewing the existing benchmarking utilities and the team's internal Docker packaging approach, then check with maintainers whether Docker, PyPI, or both fit the project's direction. Done means an agreed official versioning and packaging plan is defined.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Is your feature request related to a problem? Please describe.
My team has been using InferenceX in our automated testing workflow to generate workloads and run benchmarks. The benchmarking utilities are proving to be a critical tool for both simulating workloads and tracking performance metrics. Right now, there doesn't seem to be an official versioning or packaging process for those tools, which makes it trickier to integrate into our testing environment. Currently, we're handling this by packaging them into in an internal Docker image and including the latest commit hash inside the image.
Describe the solution you'd like
Even though the main focus of the InferenceX project is to create timely and reliable benchmarks of the current state of the inference software ecosystem, Official, versioned releases of InferenceX tools and scripts could be useful for the broader community. Are there plans to publish official versioned releases either via a Docker image, a PyPI package, or both? We'd be happy to help start this work by adapting our current packaging work and creating a PR, but we first wanted to check with maintainers and the community to make sure that is consistent with the future direction of the project.
Describe alternatives you've considered
- Continuing to refine our internal Docker image that vendors InferenceX.
- Creating and maintaining our own Python package that bundles the InferenceX benchmarking utilities, rather than relying on an official package.
Additional context
Not that I can think of at the moment. We mainly wanted to understand the project's long term goals related to versioning and packaging, and express our willingness to contribute to a broad solution.
中文说明
功能请求:目前 InferenceX 的基准测试工具和脚本缺少官方的版本管理和打包流程,这使得集成到自动化测试环境中变得困难。请求发布官方版本化的工具,可通过 Docker 镜像、PyPI 包或两者发布。提问者愿意贡献代码来推动此工作。备选方案包括继续维护内部 Docker 镜像或自行打包 InferenceX 基准测试工具。
- Lenguaje dominante
- Python
- Estrellas
- 1.9k
- Forks
- 343
- Merge medio
- 2 d 40 min
- PR fusionados (30 d)
- 431
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de SemiAnalysisAI/InferenceX
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
SemiAnalysisAI/InferenceX#2125 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
SemiAnalysisAI/InferenceX#1587 ·
Los mantenedores suelen responder en 1 día
-
[experimental chore/agentx-v0.2-aiperf-testing branch] agentic build_replay_cmd: missing --tokenizer-trust-remote-code breaks Kimi-K2.5 (and other custom-code tokenizer models) / agentic build_replay_cmd 缺少 --tokenizer-trust-remote-code 导致 Kimi-K2.5 等自定义 tokenizer 模型失败Quizá libre de nuevo @sahil-bhatti-ai la tomó hace 169 días y no hay ningún pull request abierto. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 78/100
SemiAnalysisAI/InferenceX#1369 · 3 comentarios ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 1-3 horas Aptitud para principiantes 76/100
SemiAnalysisAI/InferenceX#1359 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 Menos de una hora Aptitud para principiantes 18/100
SemiAnalysisAI/InferenceX#4655 · 1 comentario ·
Los mantenedores suelen responder en 1 día
Todos los issues de SemiAnalysisAI/InferenceX
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
vllm-project/vllm#64845 ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
dekobon/big-code-analysis#1729 ·
Los mantenedores suelen responder en 1 día
-
Add `openai_safety_identifier`, the replacement for the `user` field that `openai_user` sendsAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
pydantic/pydantic-ai#12091 ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100