4.0.0 drops the no-fabrication rule, and the pattern 17 example brings back the invented NYT interview from #187
メンテナーはふだん 6 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 67/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- python
- 領域
- ai, documentation
調査の方向性
#331 の 4.0.0 の変更を、#189 の以前のルールおよび #187 の議論とあわせて読む。skill の Step 2、Step 3、pattern 17 の例を見つけ、この issue で提案されている3つの対処法と比較する。デフォルトで根拠のない追加を避け、例が架空のインタビューを情報源として示さなくなれば完了。
索引モデルが issue の本文から書いたものです。
説明
4.0.0 (#331) removes the rule from 2.9.0 (#189) that a rewrite must not add a fact, name, number, date, quote or citation that is not in the source. Step 2 now says "Where the text is generic, add a specific detail you know to be true", and step 3 checks only for lost or changed facts, no longer for added ones.
I see two problems with this.
-
The only guard left is the model's own belief. A model cannot reliably check whether it "knows" something to be true. I use the skill on emails, PR descriptions and documentation written in my name. A plausible but wrong date, figure or source in those is worse than a generic sentence, and harder to catch in review. #331 says as much: "This reverses a rule, with no model eval. The skill may now add a detail that turns out to be wrong."
-
The pattern 17 example now demonstrates fabrication. Its new After ("In a 2024 New York Times interview, she argued …") is the example #189 removed after #187, and #331 describes it as "an unnamed, made-up person". The skill's own reference example shows the model inventing a quote and its source.
Any of these would help:
- Restore the source-or-user rule as the default, and allow added specifics only when the user supplies the facts or opts in.
- At least keep "an unsupported addition is an error" in step 3, so added claims get the same check as lost ones.
- Replace the pattern 17 After with one that keeps the source's claim or cuts it.
3.0.0 works as expected for me, and I'm staying on it because of this change.
- 主要言語
- Python
- スター
- 53.9k
- フォーク
- 4.3k
- 平均マージ
- 6日 11時間
- マージ済み PR(30日)
- 9
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
blader/humanizer のほかの issue
-
validate-package.py: duplicated pattern section in SKILL.md passes validation (dict key collapse defeats the numbering check)対応中かも @TanmayShah29 が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 25/100
メンテナーはふだん 6 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 57/100
メンテナーはふだん 6 日以内に返信
blader/humanizer の issue をすべて見る
似ている issue
-
automated endpoint-dead needs-curation
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
almanac-data/climate-almanac#138 ·
メンテナーはふだん 1 日以内に返信
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 67/100
OceanDataTools/openrvdas#760 ·
メンテナーはふだん 1 日以内に返信
-
level/subtask type/enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
wazuh/wazuh-virtual-machines#1091 ·
メンテナーはふだん 1 日以内に返信
-
Python: Bug: ChatMessageContent.from_element drops AudioContent and BinaryContent into raw TextContent対応中かも @halcyon-past が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
microsoft/semantic-kernel#14824 · コメント 1 件 ·
メンテナーはふだん 3 日以内に返信
-
help wanted
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
stack314/django-neolith#142 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信