skillopt-sleep: make transcript sources and backends pluggable (entry points), and fail on unknown backend names
I maintainer di solito rispondono entro 2 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 32/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- python
- Ambito
- developer-experience, tooling
Direzione di ricerca
Start by reading harvest_sources.harvest_for_config() and backend.get_backend(), then trace how --source and --backend choices are built. The proposal spans plugin registration, module loading, checkpoint keys, and a public helper API; the author offers to implement parts 1–3 and 5 with tests. Done means existing names still work, plugins can register sources and backends, and unknown backend names raise an error.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Problem
harvest_sources.harvest_for_config() and backend.get_backend() are fixed if-chains. Every new harness needs a change to core: open right now are #153 (Antigravity), #266 (DeepSeek Harness, from #225), #282 (Codex CLI rollouts), #114 (Hermes as backend and source), plus #97 (VS Code Copilot). Also, get_backend() returns MockBackend() for any name it does not know, so a typo or an out-of-tree backend silently produces a 0.0 -> 0.0 night instead of an error.
Motivating case
On one macOS machine we run a nightly cycle over claude, codex, cursor, opencode and copilot_cli natively, plus three stores upstream cannot read:
- zcode: an OpenCode fork whose
db.sqlitelacks theagentandmetadatacolumnsharvest_opencoderequires, so it finds 0 sessions. - Antigravity: per-conversation SQLite with protobuf steps; we also read the
antigravity-cliandantigravity-acpconversation dirs, which #153 does not. - Crush: a per-project
crush.dblisted inprojects.json.
Today these reach the engine only by pre-writing digests.json into the handoff dir before round 1. Every model call goes through the handoff backend plus an external answerer, because no backend can be registered from outside. The adapters and the runner are public: https://github.com/djbclark/djbclark-ade/blob/master/bin/skillopt_sources.py and https://github.com/djbclark/djbclark-ade/blob/master/bin/skillopt-night
Proposal
- Two entry-point groups, consulted after the built-ins:
skillopt_sleep.sources(name ->harvest(cfg, *, since_iso, limit, scope, invoked_project) -> list[SessionDigest]) andskillopt_sleep.backends(name ->factory(cfg) -> Backend).--sourceand--backendaccept any registered name, andchoices=lists come from the registry. --source-module pkg.mod:funcand--backend-module pkg.mod:Classfor unpackaged adapters.get_backend()raises on an unknown name instead of returningMockBackend(keepmockexplicit).- Key the harvest checkpoint by
(project, source)(#312) so several sources can feed one project. - A small public helper API (
is_headless_replay,is_agent_session,is_meta_prompt,detect_feedback,redact_secrets), so external sources apply the same filters and redaction as built-in ones.
The existing sources would register through the same mechanism, and per-source PRs such as #153 and #266 would become optional plugins instead of core changes.
Offer
I am happy to send a PR implementing 1-3 and 5 with tests (keeping every current --source and --backend name working), and 4 separately if #312 is accepted. Tell me if you prefer a different shape, for example a config-file registry instead of entry points.
Version context: main at 343db229dbd5ddaf9df6b1d5540d8bcdb2604d5c.
- Lingua principale
- Python
- Stelle
- 18.2k
- Fork
- 1.7k
- Merge medio
- 4g 1h
- PR unite (30g)
- 10
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di microsoft/SkillOpt
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 66/100
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
I maintainer di solito rispondono entro 2 giorni
-
Clarification on Rollout Timeouts, Inference Concurrency, and Their Impact on SkillOpt EvaluationAperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 12/100
I maintainer di solito rispondono entro 2 giorni
-
skillopt-sleep: max_tokens_per_night is defaulted and documented but never enforcedForse già presa @Thanatos9404 l’ha presa 2 giorni fa. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 55/100
I maintainer di solito rispondono entro 2 giorni
Tutte le issue di microsoft/SkillOpt
Issue simili
-
python triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
microsoft/semantic-kernel#14615 ·
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
shackett/shackett-utils#19 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
UKGovernmentBEIS/control-arena#917 ·
I maintainer di solito rispondono entro 1 giorno