4.0.0 drops the no-fabrication rule, and the pattern 17 example brings back the invented NYT interview from #187

Đang mở Phù hợp với người mới
#341 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 6 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
67/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
ai, documentation

Hướng nghiên cứu

Đọc các thay đổi trong bản 4.0.0 ở #331 cùng với quy tắc trước đó trong #189 và phần thảo luận ở #187. Tìm Step 2, Step 3 và ví dụ pattern 17 trong skill, sau đó so sánh chúng với ba biện pháp được đề xuất trong issue này. Hoàn thành khi mặc định tránh các nội dung bổ sung không có căn cứ và ví dụ không còn trình bày một cuộc phỏng vấn bịa đặt như một nguồn.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

4.0.0 (#331) removes the rule from 2.9.0 (#189) that a rewrite must not add a fact, name, number, date, quote or citation that is not in the source. Step 2 now says "Where the text is generic, add a specific detail you know to be true", and step 3 checks only for lost or changed facts, no longer for added ones.

I see two problems with this.

  1. The only guard left is the model's own belief. A model cannot reliably check whether it "knows" something to be true. I use the skill on emails, PR descriptions and documentation written in my name. A plausible but wrong date, figure or source in those is worse than a generic sentence, and harder to catch in review. #331 says as much: "This reverses a rule, with no model eval. The skill may now add a detail that turns out to be wrong."

  2. The pattern 17 example now demonstrates fabrication. Its new After ("In a 2024 New York Times interview, she argued …") is the example #189 removed after #187, and #331 describes it as "an unnamed, made-up person". The skill's own reference example shows the model inventing a quote and its source.

Any of these would help:

  • Restore the source-or-user rule as the default, and allow added specifics only when the user supplies the facts or opts in.
  • At least keep "an unsupported addition is an error" in step 3, so added claims get the same check as lost ones.
  • Replace the pattern 17 After with one that keeps the source's claim or cuts it.

3.0.0 works as expected for me, and I'm staying on it because of this change.

Ngôn ngữ chính
Python
Star
53.9k
Fork
4.3k
Merge trung bình
6 ngày 11 giờ
Pull request đã merge (30 ngày)
9

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của blader/humanizer

Tất cả issue của blader/humanizer

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.