Performance Regression or Improvement: test_cloudml_benchmark_criteo_10GB-runtime_sec:runtime_sec

Aperta
  • Qualcosa non va?
#41,089 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
35/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
python, tensorflow
Ambito
data-engineering, performance

Direzione di ricerca

Start with the triage guidance in sdks/python/apache_beam/testing/analyzers/README.md and inspect the benchmark referenced in sdks/python/apache_beam/testing/benchmarks/cloudml/cloudml_benchmark_test.py. Compare the anomalous runtime with nearby measurements and investigate what changed in the benchmark or its execution environment. Done means the performance alert is explained and any confirmed regression has a clear resolution.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

awaiting triage perf-alert

Performance change found in the
test: test_cloudml_benchmark_criteo_10GB-runtime_sec for the metric: runtime_sec.

For more information on how to triage the alerts, please look at
Triage performance alert issues section of the README.

Test description: TFT Criteo test on 10 GB data.
Test link - https://github.com/apache/beam/blob/42d0a6e3564d8b9c5d912428a6de18fb22a13ac1/sdks/python/apache_beam/testing/benchmarks/cloudml/cloudml_benchmark_test.py#LL104C7-L104C41


timestamp: Sun Nov  8 01:46:38 2026, metric_value: 2622.62
timestamp: Sat Nov  7 22:54:32 2026, metric_value: 2670.46
timestamp: Fri Nov  6 22:54:34 2026, metric_value: 2617.58
timestamp: Thu Nov  5 22:46:00 2026, metric_value: 2341.57 <---- Anomaly
timestamp: Wed Nov  4 23:08:40 2026, metric_value: 2956.38
timestamp: Tue Nov  3 23:04:19 2026, metric_value: 2959.26
timestamp: Mon Nov  2 23:03:59 2026, metric_value: 2993.29
timestamp: Sun Nov  1 23:07:41 2026, metric_value: 2942.03
timestamp: Sat Oct 31 23:00:36 2026, metric_value: 2865.71
timestamp: Fri Oct 30 23:04:56 2026, metric_value: 3040.11
timestamp: Thu Oct 29 23:09:40 2026, metric_value: 2988.82
timestamp: Wed Oct 28 23:11:51 2026, metric_value: 3360.26
timestamp: Wed Oct 28 22:05:18 2026, metric_value: 3085.76
timestamp: Tue Oct 27 23:09:30 2026, metric_value: 2958.39
Lingua principale
Java
Stelle
8.7k
Fork
4.8k
Merge medio
2g 12h
PR unite (30g)
371

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di apache/beam

Tutte le issue di apache/beam

Issue simili

Altre issue su Java

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.