statistical-testing skill: optional signal-column support (enables time-shift decay test)
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- python
- Lĩnh vực
- data, machine-learning
Hướng nghiên cứu
Read the statistical-testing skill's input model and data discovery step, then review related issue #17 for the factor suite design. Define how an optional numeric signal column is identified and confirmed, and how multi-horizon IC, shifted IC decay, and single-asset half-life diagnostics are reported. Done when signal diagnostics run for confirmed candidates while inputs without a signal retain the existing behavior.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Context
The QuantGPT time-shift decay test (shift factor values by 5/10/20 days; a real signal should weaken, not persist — persistence implies the backtest fit a lagged/regime artifact) did not port into the statistical-testing skill because the skill's data model is date + returns only, with no raw signal column.
Proposal
Extend the skill's accepted input to an optional signal column alongside returns (e.g. signal, score, forecast). When present, enable:
- Signal→forward-return IC at multiple horizons (1/5/10/20d): rank correlation between signal at t and strategy/asset forward return. Establishes the signal actually predicts what it claims.
- Time-shift decay: recompute IC with signal shifted 5/10/20d forward. Pass: shifted |IC| < real |IC| at every shift. Failure means the "edge" is a lagged exposure (e.g., just holding yesterday's beta).
- Half-life of predictive power — fold into #17 (factor suite) once panel data is supported; single-asset decay curve can live here.
Design notes
- Absent: no engine look-ahead concerns here — this is research-side validation, all shifts applied explicitly.
- Data discovery (Step 1) should flag a numeric signal column as
signal_candidateand ask the user whether to run signal diagnostics. - Related: #17 (full cross-sectional factor suite — this issue is the single-series subset).
- Ngôn ngữ chính
- Python
- Star
- 28
- Fork
- 17
- Merge trung bình
- 8 giờ 50 phút
- Pull request đã merge (30 ngày)
- 2
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của uberdeveloper/fastbt
-
bug
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100
uberdeveloper/fastbt#31 ·
-
bug
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 52/100
uberdeveloper/fastbt#30 ·
-
bug
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100
uberdeveloper/fastbt#28 ·
-
FB-008: close_trade mixes price and tick; stale exits are silent (zero-P&L fallback) [silent-wrong]Đang mởbug
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 70/100
uberdeveloper/fastbt#27 ·
-
bug
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 55/100
uberdeveloper/fastbt#26 ·
Tất cả issue của uberdeveloper/fastbt
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
huggingface/sentence-transformers#4186 ·
Maintainer thường phản hồi trong vòng 5 ngày
-
documentation good first issue
Độ khó 2/5 Nửa ngày Mức phù hợp với người mới 72/100
sujithputta02/Esapay#13 ·
-
bot-triaged module: correctness (silent) module: mps module: NaNs and Infs triage review
Độ khó 2/5 Nửa ngày Mức phù hợp với người mới 62/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
Maintainer thường phản hồi trong vòng 1 ngày
-
README: CI link/badge checkĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
SCIInstitute/SCIRun#2842 ·
Maintainer thường phản hồi trong vòng 3 ngày