4.0.0 drops the no-fabrication rule, and the pattern 17 example brings back the invented NYT interview from #187

オープン 初心者向け
#341 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 6 日以内に返信

まだ誰も着手していません。

評価

難易度
2/5
見積もり時間
1〜3時間
初心者へのやさしさ
67/100
issue の種類
バグ
明瞭さ
おおむね明確
活発さ
活発
技術スタック
python
領域
ai, documentation

調査の方向性

#331 の 4.0.0 の変更を、#189 の以前のルールおよび #187 の議論とあわせて読む。skill の Step 2、Step 3、pattern 17 の例を見つけ、この issue で提案されている3つの対処法と比較する。デフォルトで根拠のない追加を避け、例が架空のインタビューを情報源として示さなくなれば完了。

索引モデルが issue の本文から書いたものです。

説明

4.0.0 (#331) removes the rule from 2.9.0 (#189) that a rewrite must not add a fact, name, number, date, quote or citation that is not in the source. Step 2 now says "Where the text is generic, add a specific detail you know to be true", and step 3 checks only for lost or changed facts, no longer for added ones.

I see two problems with this.

  1. The only guard left is the model's own belief. A model cannot reliably check whether it "knows" something to be true. I use the skill on emails, PR descriptions and documentation written in my name. A plausible but wrong date, figure or source in those is worse than a generic sentence, and harder to catch in review. #331 says as much: "This reverses a rule, with no model eval. The skill may now add a detail that turns out to be wrong."

  2. The pattern 17 example now demonstrates fabrication. Its new After ("In a 2024 New York Times interview, she argued …") is the example #189 removed after #187, and #331 describes it as "an unnamed, made-up person". The skill's own reference example shows the model inventing a quote and its source.

Any of these would help:

  • Restore the source-or-user rule as the default, and allow added specifics only when the user supplies the facts or opts in.
  • At least keep "an unsupported addition is an error" in step 3, so added claims get the same check as lost ones.
  • Replace the pattern 17 After with one that keeps the source's claim or cuts it.

3.0.0 works as expected for me, and I'm staying on it because of this change.

主要言語
Python
スター
53.9k
フォーク
4.3k
平均マージ
6日 11時間
マージ済み PR(30日)
9

環境構築

このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

blader/humanizer のほかの issue

blader/humanizer の issue をすべて見る

似ている issue

Python の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。