ADF dispatch: unattended long runs require a machine-checkable acceptance criterion and a known-answer control run
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 35/100
- Type d'issue
- Fonctionnalité
- Clarté
- Plutôt claire
- Activité
- Active
- Stack technique
- rust
- Domaine
- ai-infra-agents
Piste de recherche
Start by locating the task and agent definitions, the spawner, and loop detection referenced in the proposal and issue #3080. Trace how unattended dispatch is selected, then verify that missing fields and a failing control run are rejected before the real task, while acceptance progress can inform long-run detection.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Proposal
A dispatch rule for ADF: a task may run unattended for a long period only if it has (a) a machine-checkable acceptance criterion and (b) a control run on a case with a known answer, executed through the same pipeline before the real run. Tasks without both stay attended or tightly bounded (open-ended refactors, issue triage).
Why
Anthropic's nine-loop computation ran overnight on nothing but "keep going" prompts and produced a correct frontier result. Our runaway-loop failures have the same shape and the opposite outcome. The difference was not the model. The task carried its own oracle:
- an eight-loop control run, checked against the published result;
- exact arithmetic repeated modulo three primes;
- two representations cross-checked on all 107,053 nonzero coefficients;
- an independent group reproducing part of the result.
The loop detector should treat "long and making verifiable progress" differently from "long and repeating itself". A passing control run plus a checkable criterion is what makes that distinction possible.
Tasks
- Add an
acceptancefield (the command or check) and acontrolfield (a known-answer case) to the task and agent definitions used for long or unattended dispatch. - Spawner: refuse unattended mode when either field is missing, or when the control run fails.
- Loop detection (#3080): use progress against the acceptance check as a signal that a long run is still productive.
Acceptance
- An unattended dispatch without both fields is rejected, with a clear message.
- A deliberately broken pipeline is caught by its control run before the real task starts.
Source
https://www.anthropic.com/research/yes-claude-can-do-nine-loops ; result page https://smsharma.io/cosmic-nine-loops/
Mirror of Gitea terraphim/terraphim-ai# (source of truth).
- Langage dominant
- Rust
- Étoiles
- 65
- Forks
- 5
- Merge moyen
- 1 h 17 min
- PR mergées (30 j)
- 2
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Propose un modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de terraphim/terraphim-ai
-
terraphim_rlm: require a per-sub-result verification plan (recheck / control / independent route)Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 48/100
terraphim/terraphim-ai#969 · 1 commentaire ·
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 35/100
terraphim/terraphim-ai#967 ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 48/100
terraphim/terraphim-ai#966 ·
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 30/100
terraphim/terraphim-ai#965 · 2 commentaires ·
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
terraphim/terraphim-ai#885 ·
Toutes les issues de terraphim/terraphim-ai
Issues similaires
-
enhancement
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
zcashlabs/thus-spoke-zakura#153 ·
Les mainteneurs répondent en général sous 1 jour
-
app bug windows-os
Difficulté 2/5 1-3 heures Accessibilité débutants 67/100
Les mainteneurs répondent en général sous 1 jour
-
Improve sublime text syntaxOuverteeditor good first issue
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
funnyboy-roks/inq#54 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
pnpm/pnpm#16635 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
[Bug]: Bedrock request metadata forwarding does not work for /embeddingsPeut-être pris Une pull request liée à cette issue est ouverte ou déjà fusionnée. Ouvertebug llm translation
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
Les mainteneurs répondent en général sous 1 jour