P3 scoring: BlockFLow validation (P3-SCR), on-chain median, scenario-driven scoring redesign
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 30/100
- Type d'issue
- Fonctionnalité
- Clarté
- Plutôt claire
- Activité
- Active
- Stack technique
- machine-learning, python, solidity
- Domaine
- blockchain, databases, machine-learning, testing
Piste de recherche
Start with MECHANISM_DESIGN §6 and Developer/issues/scoring-mechanism.md, then locate the shipped BlockFLow scoring implementation and its pytest integration tests. Validate poison detection, duplicate fold-in, permutation averaging, and sequential fold-in across the stated cases; inspect the finalizeEvaluation path for the on-chain auditor-batch median and eligibility gate. Done means the tests cover the specified scoring properties and the median score is the canonical basis for eligibility, rewards, and S3 slashing.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Part of the P3 mechanism-design push (#36).
Summary
Two workstreams before scoring can safely drive rewards and slashing:
- Validate the shipped BlockFLow-inspired scoring (WP 2.2 ✅) empirically — P3-SCR. High correctness risk in the subtle properties (sequential fold-in, permutation averaging).
- Scenario-driven scoring redesign — separate eligibility from utility instead of one test shard / one accuracy number / one average threshold (issues/scoring-mechanism.md).
Scope (from MECHANISM_DESIGN §6)
- P3-SCR validation: poison detection (label-flip, sign-flip, scaling, garbage), duplicate discounting via fold-in, cosine-to-consensus / norm-bound / marginal-gain gates at multiple ε values; pytest integration tests for permutation averaging and sequential fold-in
- Compute the median across the auditor batch on-chain at
finalizeEvaluationso the canonical per-model score exists on-chain as both the S3 slashing reference and the reward basis (today eligibility voting exists but no canonical score is derived) - Eligibility: median ≥
passScoregates T1 aggregation; below ⇒ rejected, zero reward - S3 deviation threshold: start wide, warning-only shadow mode for the first weeks of DevNet 2.0, then tighten (avoid punishing honest variance from heterogeneous audit test sets)
Threat coverage
In scope: crude poisoning, Sybil clients (spam costs compute, earns nothing below pass score), score inflation (median-bounded). Out of scope for 2.0: backdoors (RES-2), >50% auditor collusion.
Design sources
MECHANISM_DESIGN §6 · issues/scoring-mechanism.md · whitepaper-summary §4.4, §8 gap items 3, 11, 14 · rejected-ideas/tknn-shapley.md
Roadmap anchors: P3-SCR (validation), WP 2.2 (implementation, shipped)
- Langage dominant
- Python
- Étoiles
- 4
- Forks
- 7
- Merge moyen
- 3 j 5 h
- PR mergées (30 j)
- 34
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de InfiniteZeroFoundation/DevNet
-
ROADMAP.md: refresh "What is still open for P3" (several items were fixed in October)Peut-être pris @umermjd11 l’a pris il y a 3 jours. Ouvertedocumentation good first issue
Difficulté 2/5 1-3 heures Accessibilité débutants 74/100
InfiniteZeroFoundation/DevNet#285 · 1 commentaire · 1 personne assignée ·
Les mainteneurs répondent en général sous 1 jour
-
Update the 25 translated organisation READMEs to match the English versionPeut-être pris @mrCabez l’a pris il y a 1 jour. Ouvertegood first issue help wanted
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
InfiniteZeroFoundation/DevNet#277 · 2 commentaires · 1 personne assignée ·
Les mainteneurs répondent en général sous 1 jour
-
Update the client-service guide to explain training and uploading separatelyPeut-être pris @Santiagocetran l’a pris il y a 1 jour. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
InfiniteZeroFoundation/DevNet#266 · 1 personne assignée ·
Les mainteneurs répondent en général sous 1 jour
-
Few questions related to GI2 aggregatorPeut-être pris @Abidoyesimze l’a pris aujourd’hui. Ouverte
InfiniteZeroFoundation/DevNet#307 · 1 réaction · 4 personnes assignées ·
Les mainteneurs répondent en général sous 1 jour
-
bug python
Difficulté 4/5 3-5 jours Accessibilité débutants 52/100
InfiniteZeroFoundation/DevNet#306 ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de InfiniteZeroFoundation/DevNet
Issues similaires
-
bug
Difficulté 2/5 1-3 heures Accessibilité débutants 86/100
NousResearch/hermes-agent#147104 ·
Les mainteneurs répondent en général sous 1 jour
-
[oblt-aw][autodoc] Document new required `shared-org-key` input for `obs-aw-dependency-review`Peut-être pris @github-actions l’a pris aujourd’hui. Ouverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 90/100
Les mainteneurs répondent en général sous 1 jour
-
bot-triaged module: inductor oncall: pt2 topic: fuzzer triaged
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
Les mainteneurs répondent en général sous 1 jour
-
getchaintips leaves out the active tip once a header is staged on it, where Core always lists itOuverte
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
btclib-org/btclib-node#2158 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
patrick-hudson/put.gd-desktop#979 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour