Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Parameter-plateau robustness check (noise-injection analog) via fastbt sweep integration

Đang mở
  • Có gì không ổn?
#19 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
35/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
data, testing

Hướng nghiên cứu

Start by reading the statistical-testing skill section and AGENTS.md, especially its notes on strategy state isolation and concurrent parameter sweeps. Define the Tier 1 sweep table input and plateau verdict first, then investigate the fastbt sweep entry points for Tier 2. Done means both tiers produce a neighborhood report with the specified SPIKE DETECTED or PLATEAU verdict.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement

Context

The QuantGPT noise-injection test (add Gaussian noise to factor values, 0.1–2.0× std; pass if IC at 0.5× noise retains ≥50%) ports to strategy validation only as a parameter-perturbation check: perturb strategy parameters slightly and verify performance degrades gracefully. An optimum sitting on a plateau is robust; a spike means the backtest is overfit to that exact parameter value.

This requires data the statistical-testing skill cannot generate alone: a parameter-sweep results table (param value → metric) or engine re-runs.

Proposal

Two-tier integration:

Tier 1 — sweep table input (data-only, skill-side):

  • Accept a sweep results file (e.g. threshold, sharpe columns).
  • For chosen optimum θ*, evaluate neighbors θ* ± δ (and optionally ±2δ):
    • Pass: min(neighbor_metric) / optimal_metric ≥ 0.5 (mirrors QuantGPT 50% noise retention)
    • Also check smoothness: fit local quadratic/loess, flag high-curvature optima
  • Report: heatmap-style ASCII table of parameter neighborhood + plateau verdict

Tier 2 — engine integration (fastbt-side):

  • Given a Strategy class + perturbation grid, run backtests via fastbt's concurrent.futures parameter sweeps (AGENTS.md: strategy state isolation exists for exactly this).
  • Feed resulting sweep table into Tier 1 check.

Acceptance

  • Tier 1: skill section handles param sweep → plateau verdict with no engine dependency
  • Tier 2: helper that takes Strategy + grid, runs sweeps in parallel, returns sweep table
  • Output uses existing tweet-style format with ⚠️ SPIKE DETECTED / ✅ PLATEAU verdicts
Ngôn ngữ chính
Python
Star
28
Fork
17
Merge trung bình
8 giờ 50 phút
Pull request đã merge (30 ngày)
2

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của uberdeveloper/fastbt

Tất cả issue của uberdeveloper/fastbt

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.