Proposal: community rule library with local empirical gating (privacy-preserving federated skill transfer)
Los mantenedores suelen responder en 4 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 35/100
Línea de trabajo
Empieza por rastrear las rutas existentes de candidate-edit, miner, replay y held-out gate; el issue no especifica archivos ni tests concretos. Define el límite de importación/exportación y el flujo de probation alrededor de esos puntos de entrada, y verifica después que las reglas importadas pasen un gate local antes de aceptarse y que no se requieran transcripciones de sesión para compartirlas.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Motivation
Skill efficacy in this pipeline scales roughly with data volume. But the obvious fix, pooling users' session data, has a near-fatal problem: transcripts are among the most personal artifacts in computing (code, prompts, mistakes), and regex-level secret scrubbing (redact_secrets-style) is nowhere near sufficient for public sharing.
Key observation
What transfers between users at the skill level is not the transcript or the task it's the distilled rule. "Write commit subjects in imperative mood" is useful to thousands of people; the session that taught it is useful to no one but its author.
There is, however, a second tier where transcripts do have transferable value: the meta level. As people experiment with modified versions of the pipeline itself (miner variants, replay backends, gate policies the kind of evidence-chain iteration discussed in #151), a session corpus that demonstrably trained a successful directive becomes a reusable benchmark: anyone iterating on a pipeline variant can rerun it against the same corpus and compare what their variant mines, replays, and gates. That's transcript sharing with a fundamentally different consumer (pipeline developers, not skill consumers) and it would need to be strictly opt-in with real anonymization but it's worth naming as a distinct, longer-term tier of this proposal rather than conflating it with rule sharing.
For the rule-sharing tier, the gate architecture already handles untrusted candidates: every user's gate validates any proposed edit against their own held-out tasks before accepting it.
Proposal: community rule library + local empirical gating
- Define an import/export format for candidate edits (rule text + minimal metadata: category, provenance-free rationale, observed effect size).
- Users can publish distilled rules tiny, reviewable, low-risk artifacts to a shared library.
- Importing a rule places it in a probation state: it must pass the importer's own held-out gate before being accepted into their skill, exactly like a locally-mined candidate.
This is federated skill transfer with privacy built in: the shareable unit is the candidate edit, and trust comes from local empirical validation rather than from the publisher.
Bigger picture
Together with #154 (intent-level mining) and #155 (agentic replay), this is aimed at SkillOpt growing into an on-the-job-training system for specific job roles with the community library as the mechanism for learning from everyone's experience combined without sharing anyone's data.
- Lenguaje dominante
- Python
- Estrellas
- 18k
- Forks
- 1.7k
- Merge medio
- 8 d 16 h
- PR fusionados (30 d)
- 11
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de microsoft/SkillOpt
-
项目还在迭代嘛?Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 10/100
microsoft/SkillOpt#291 · 1 comentario ·
Los mantenedores suelen responder en 4 días
-
Release cut for the Aug adopt/webui hardening + 2 residual staging gapsPosiblemente ocupada @RohithPariki la tomó hace 15 días. Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 42/100
microsoft/SkillOpt#288 · 1 comentario ·
Los mantenedores suelen responder en 4 días
-
skillopt-sleep Codex harvest ingests its own headless replay sessionsPosiblemente ocupada @kaluli123123 la tomó hace 16 días. Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 72/100
microsoft/SkillOpt#286 · 3 comentarios ·
Los mantenedores suelen responder en 4 días
-
Proposal: optional offline typed-decision judge for rubric scoring (SemIf / NanoJev pattern)Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 28/100
microsoft/SkillOpt#283 · 1 comentario ·
Los mantenedores suelen responder en 4 días
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
Los mantenedores suelen responder en 4 días
Todos los issues de microsoft/SkillOpt
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Los mantenedores suelen responder en 3 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
modelcontextprotocol/python-sdk#3648 ·
Los mantenedores suelen responder en 1 día
-
docs good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
VenetoStato/giorgio#6 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
Los mantenedores suelen responder en 1 día
-
Claiming namespace ddalusAbierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 70/100
EclipseFdn/open-vsx.org#13831 ·
Los mantenedores suelen responder en 1 día