Reviser can't resolve references named only in the query

Đang mở
  • Có gì không ổn?
#77 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@leothomas đang làm issue này rồi.

Từ ngày 11/11/2026.

  • #80 của @leothomas — đang mở

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
35/100
Loại issue
Tính năng
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
machine-learning

Hướng nghiên cứu

Read the Reviser.run and run_batch entry points, then trace how FactReasoner and the three baselines call them. Add the query to the prompt with a few-shot example and enforce the stated rule against introducing non-function words absent from the unit, response, and query. Check that references resolve while revisions that add unsupported claims leave the unit unchanged.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Problem

The Reviser only sees the unit and the response. When the response never names its subject (common for chat answers, which lean on the question), the Reviser can't resolve the reference, and the atom stays unverifiable:

Q: Tell me about the James Webb Space Telescope.
A: It launched on December 25, 2021. It observes primarily in the infrared.
→ "It launched on December 25, 2021."   (unchanged on main)

The one-shot AtomizerReviser already takes the query for this reason, but it needs the LoRA adapter on vLLM.

Proposal

Pass the query to Reviser.run / run_batch as an optional argument, from FactReasoner and the three baselines, and add it to the prompt with a few-shot example.

One risk turned up in testing: with the question in front of it, a model may answer it rather than resolve a reference ("Who discovered penicillin?" + "He discovered it in 1928." → "Alexander Fleming discovered penicillin in 1928.", a claim the response never made). The prompt alone didn't prevent this with llama3.1-8B. So the proposal also rejects any revision that adds a non-function word found in neither the unit, response nor query, and keeps the unit as-is instead.

PR to follow.

Ngôn ngữ chính
Python
Star
45
Fork
14
Merge trung bình
5 giờ 1 phút
Pull request đã merge (30 ngày)
9

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của IBM/FactReasoner

Tất cả issue của IBM/FactReasoner

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.