4.0.0 drops the no-fabrication rule, and the pattern 17 example brings back the invented NYT interview from #187

Aperta Adatta ai principianti
#341 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 6 giorni

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
67/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
python
Ambito
ai, documentation

Direzione di ricerca

Leggi le modifiche della versione 4.0.0 in #331 insieme alla regola precedente in #189 e alla discussione in #187. Trova Step 2, Step 3 e l’esempio pattern 17 nello skill, poi confrontali con i tre rimedi proposti in questa issue. Il risultato è raggiunto quando il comportamento predefinito evita aggiunte non supportate e l’esempio non presenta più un’intervista inventata come fonte.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

4.0.0 (#331) removes the rule from 2.9.0 (#189) that a rewrite must not add a fact, name, number, date, quote or citation that is not in the source. Step 2 now says "Where the text is generic, add a specific detail you know to be true", and step 3 checks only for lost or changed facts, no longer for added ones.

I see two problems with this.

  1. The only guard left is the model's own belief. A model cannot reliably check whether it "knows" something to be true. I use the skill on emails, PR descriptions and documentation written in my name. A plausible but wrong date, figure or source in those is worse than a generic sentence, and harder to catch in review. #331 says as much: "This reverses a rule, with no model eval. The skill may now add a detail that turns out to be wrong."

  2. The pattern 17 example now demonstrates fabrication. Its new After ("In a 2024 New York Times interview, she argued …") is the example #189 removed after #187, and #331 describes it as "an unnamed, made-up person". The skill's own reference example shows the model inventing a quote and its source.

Any of these would help:

  • Restore the source-or-user rule as the default, and allow added specifics only when the user supplies the facts or opts in.
  • At least keep "an unsupported addition is an error" in step 3, so added claims get the same check as lost ones.
  • Replace the pattern 17 After with one that keeps the source's claim or cuts it.

3.0.0 works as expected for me, and I'm staying on it because of this change.

Lingua principale
Python
Stelle
53.9k
Fork
4.3k
Merge medio
6g 11h
PR unite (30g)
9

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di blader/humanizer

Tutte le issue di blader/humanizer

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.