Add gate on full-sweep / fail-fast runs to prevent wasted compute

Đang mở
  • Có gì không ổn?
#2,103 0 bình luận 0 reaction 2 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@adibarra đang làm issue này rồi.

Từ ngày 6/7/2026.

Đánh giá

Issue này chưa được đánh giá.

Mô tả

dev velocity enhancement p1

Summary

Add a gate on compute-heavy sweep runs (full-sweep-fail-fast, full-sweep, non-canary-full-sweep-enabled, etc.) to prevent obviously-wrong / wasteful runs from consuming compute before they start.

Motivation

Compute-intensive sweeps are expensive, and there is currently no guardrail to stop a run that is clearly misconfigured or violating known bad patterns. This wastes runner time, increases queue times, and blocks other engineers' work. Stopping wasted compute here is P1.

Related: this ties into the broader InferenceX compute-improvement effort of stopping people from sweeping trtllm/atom before submitting/validating vllm/sglang, which increases queue time and blocks vllm/sglang work (ATOM engineers wasting other AMD engineers' time).

Approaches discussed

  • FORBIDDEN_HACK.md allow/deny list (preferred starting point): Maintain a simple markdown file of forbidden patterns/hacks that we append to as needed. A gate reads it and denies a run when a known bad pattern is detected. Cheap, deterministic, low false-positive risk.
    • Run this gate only on fail-fast / canary runs (not every run) to limit overhead.
  • LLM-based gate (fallback / later): Call an LLM to evaluate whether a run should be denied.
    • Pros: catches novel bad patterns.
    • Cons: risk of false positives; cost. If pursued, use a cheaper model (e.g. Haiku / Sonnet 5 / fable5) rather than an expensive review model. Estimated ~$1–2 per fable call, cheaper than the ~$20/review Claude enterprise PR code review.

Notes

  • The CODEOWNER sign-off review is considered valuable and should stay.
  • Keep the gate scoped to fail-fast / canary runs initially to control cost.

Scope

Start with the FORBIDDEN_HACK.md + gate on fail-fast/canary runs. Evaluate an LLM-based check later if needed.

Ngôn ngữ chính
Python
Star
1.9k
Fork
343
Merge trung bình
2 ngày 40 phút
Pull request đã merge (30 ngày)
431

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của SemiAnalysisAI/InferenceX

Tất cả issue của SemiAnalysisAI/InferenceX

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.