pytorch/benchmark

Ver en GitHub

TorchBench is a collection of open source benchmarks used to evaluate PyTorch performance.

Estrellas: 1k
Forks: 346
Issues abiertos para principiantes: 3
Issues indexados: 86

Lenguaje dominante: Python
Licencia: BSD-3-Clause
Último push a GitHub: 16/9/2026
Última indexación: 19/9/2026
Guía de contribución: Guía de contribución
Código de conducta: Código de conducta
Etiquetas para principiantes: Sin etiquetas para principiantes indexadas
Métricas de merge de PR: Sin PR fusionados en 30 d

Para principiantes Todo

Abierto Todos

CPU peak memory calculation overestimates memory usage by 100x Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 92/100

pytorch/benchmark#2707 · Abierto el 16/9/2026
[huggingface] NameError: name 'AutoConfig' is not defined in download_model() Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100

pytorch/benchmark#2703 · Abierto el 1/9/2026
HuggingFace models fail on Python 3.13: NameError from exec/eval in download_model (PEP 667) Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100

pytorch/benchmark#2698 · Abierto el 3/8/2026
Question: what is the intended sync relationship between pytorch/benchmarks/dynamo and benchmark/userbenchmark/dynamo/dynamobench? Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 30/100

pytorch/benchmark#2675 · Abierto el 19/3/2026
decoder_input_ids/decoder_inputs_embeds missing in example inputs for hf_T5_base Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 55/100

pytorch/benchmark#2670 · Abierto el 9/3/2026
(auto)Bump diffusers version pin Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

pytorch/benchmark#2655 · 1 comentario · Abierto el 19/11/2025
ModuleNotFoundError: No module named 'torchbenchmark.util.framework.fb' Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

pytorch/benchmark#2653 · Abierto el 14/11/2025
[Bug] ModuleNotFoundError: No module named 'torch._C._nativert' with recent PyTorch nightly Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

pytorch/benchmark#2631 · 1 comentario · Abierto el 16/8/2025
batching-a-multicategorical , spec, isssues Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

pytorch/benchmark#2628 · Abierto el 6/8/2025
Support for multiple nodes? Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

pytorch/benchmark#2613 · Abierto el 2/5/2025
AttributeError: 'ModelTask' object has no attribute 'replace_invoke' Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

pytorch/benchmark#2606 · Abierto el 2/4/2025
[Userbenchmark] Failed to execute userbenchmark/distributed because Accelerate object has no attribute 'use_fp16' Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 45/100

pytorch/benchmark#2593 · Abierto el 16/2/2025
Missing `test_bench` configuration support Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

pytorch/benchmark#2590 · 1 comentario · Abierto el 11/2/2025
dlrm_s_pytorch.py profile api arguments mismatch Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 52/100

pytorch/benchmark#2589 · Abierto el 8/2/2025
[release-test] GPU memory numbers are always 0 on A100 runner Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 52/100

pytorch/benchmark#2574 · 3 comentarios · Abierto el 22/1/2025
[release-test] A100 3803mnist_hogwild-latency increase 10x on linux.aws.a100 vs [a100-runner] Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

pytorch/benchmark#2573 · 2 comentarios · Abierto el 21/1/2025
[eager_fail_to_run] Fail to run torchrec_dlrm with --bfloat16 Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

pytorch/benchmark#2572 · Abierto el 17/1/2025
[eager_fail_to_run] cuda train sam Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 32/100

pytorch/benchmark#2570 · Abierto el 17/1/2025
[eager_fail_to_run] resnet50_quantized_qat Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

pytorch/benchmark#2569 · Abierto el 16/1/2025
[eager_fail_to_run] opacus_cifar10 Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

pytorch/benchmark#2568 · Abierto el 16/1/2025
[eager_fail_to_run ] mobilenet_v2_quantized_qat, eager run failed on dtype mismatch Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 45/100

pytorch/benchmark#2567 · Abierto el 16/1/2025
Add SAM2 to TorchBench model set Abierto

pytorch/benchmark#2566 · 4 comentarios · 1 asignado · Abierto el 16/1/2025
Inefficient usage of torch.randn() in vision/model_factory.py Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 45/100

pytorch/benchmark#2555 · Abierto el 11/12/2024
Benchmark reliability of torchbenchmarks Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

pytorch/benchmark#2527 · 4 comentarios · Abierto el 28/10/2024
install_diffusers issue with stable_diffusion_xl Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 45/100

pytorch/benchmark#2522 · Abierto el 21/10/2024
Is there a way to change batch size from calling test_bench.py Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

pytorch/benchmark#2521 · 1 comentario · Abierto el 19/10/2024
pyg_lib module installation not available Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 38/100

pytorch/benchmark#2516 · Abierto el 18/10/2024
Models missing 'requirements.txt' files Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 48/100

pytorch/benchmark#2515 · Abierto el 18/10/2024
Add more metrics Abierto

pytorch/benchmark#2513 · 1 asignado · Abierto el 17/10/2024
We should support outputting quantile results Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 42/100

pytorch/benchmark#2510 · Abierto el 14/10/2024
We need a good way to solve lint issues for OSS developers Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

pytorch/benchmark#2502 · Abierto el 10/10/2024
How is TorchBench applied to testing new versions of PyTorch? Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

pytorch/benchmark#2499 · 4 comentarios · Abierto el 10/10/2024
Support distributed jobs on MAST Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

pytorch/benchmark#2487 · Abierto el 3/10/2024
Failed CPU workflow Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

pytorch/benchmark#2480 · Abierto el 1/10/2024
PyTorch release benchmark suite Improvements Abierto

pytorch/benchmark#2468 · 1 asignado · Abierto el 24/9/2024
[tritonbench] A better way to encode input shapes with parameters Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

pytorch/benchmark#2418 · Abierto el 13/8/2024
[torchao] Dashboard numbers are missing even when the workflow is succeeded Abierto

pytorch/benchmark#2415 · 14 comentarios · 1 asignado · Abierto el 12/8/2024
sam_fast model memory leak Abierto

pytorch/benchmark#2399 · 4 comentarios · 1 asignado · Abierto el 31/7/2024
Refactor the t4 and a100 nightly workflows Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

pytorch/benchmark#2368 · Abierto el 5/7/2024
Use AWS to store the GCP base docker Abierto

pytorch/benchmark#2358 · 1 comentario · 1 asignado · Abierto el 2/7/2024
Use ARC Kubernetes mode to run benchmark Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

pytorch/benchmark#2357 · 2 comentarios · Abierto el 2/7/2024
Add jax pallas kernel examples for tritonbench Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 45/100

pytorch/benchmark#2328 · Abierto el 24/6/2024
tts_angular failed at training Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

pytorch/benchmark#2269 · 1 comentario · Abierto el 24/5/2024
Exported HF models contain SoftmaxCrossEntropyLoss node Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 32/100

pytorch/benchmark#2267 · 4 comentarios · Abierto el 15/5/2024
eval(f.read()) is used, which will cause security issue Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

pytorch/benchmark#2202 · 1 comentario · Abierto el 18/3/2024
Skip GPU memory metrics when running with AMD GPU Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 45/100

pytorch/benchmark#2199 · Abierto el 15/3/2024
Llava model is not running its vision module Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

pytorch/benchmark#2180 · 1 comentario · Abierto el 28/2/2024
Enable memory profiling on the models Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 20/100

pytorch/benchmark#2098 · Abierto el 21/12/2023
Wrap up the distributed benchmark and get them running on conda_mast Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

pytorch/benchmark#2096 · Abierto el 19/12/2023
redundant memory allocation maybe the root cause of OOMs Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 42/100

pytorch/benchmark#2060 · 1 comentario · Abierto el 27/11/2023

pytorch/benchmark

Recibe los nuevos issues en tu correo