[BUG]: A failed fact verification returns an empty success with no error
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 83/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- python, typescript
Hướng nghiên cứu
Bắt đầu tại backend/app/utils/fact_check_utils.py và theo dõi cách run_fact_check_pipeline xử lý kết quả từ run_fact_verifier_sdk. Kiểm tra cách fact_check.py báo lỗi pipeline, sau đó thêm một kiểm thử hồi quy cho lỗi verifier, chẳng hạn như giới hạn tốc độ Groq được mô tả ở đây. Hoàn tất khi pipeline trả về lỗi của verifier và route báo thất bại.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Bug Description
run_fact_check_pipeline in backend/app/utils/fact_check_utils.py never checks the status returned by run_fact_verifier_sdk:
final = run_fact_verifier_sdk(search_results)
return final.get("verifications", []), None
When the verifier fails, it returns {"status": "error", ...} with no verifications key. The pipeline turns that into ([], None). fact_check.py then sees no error and returns status: "success" with an empty fact list.
So a Groq error or rate limit during fact verification looks exactly like a successful check that found nothing. The user gets no sign that the check failed.
Note: the same pattern affects the claim-extraction check at the top of the function (if state.get("status") != "success" tests the input state, not result). Open PRs #148 and #150 already fix that part, so this issue covers only the verifier path.
Steps to Reproduce
- Make
run_claim_extractor_sdkreturn claims (any validverifiable_claimsstring). - Make
run_fact_verifier_sdkreturn{"status": "error", "error_from": "fact_verification", "message": "Groq rate limit"}. - Call
run_fact_check_pipeline(state).
The repro script is attached below. It stubs the Groq and search modules (see the note under Environment) but calls the real run_fact_check_pipeline.
Logs and Screenshots
== C: verifier fails (Groq error) after claims were found
error: None | facts: []
Expected: error is set, for example "Groq rate limit", so the route reports a failure rather than an empty success.
Environment Details
mainof AOSSIE-Org/Perspective,backend/app/utils/fact_check_utils.py, Python 3.12, Windows- My local environment blocked the pydantic_core DLL (Windows Application Control), so the repro stubs
app.modules.facts_check.llm_processingandweb_search. The pipeline function itself is unchanged.
Expected Behavior
If run_fact_verifier_sdk returns a non-success status, run_fact_check_pipeline returns that message as the error, and fact_check.py reports status: "error" with error_from: "fact_checking".
Impact
Medium. A transient LLM failure turns into a false "no facts found" success, which users can't tell apart from a real result.
Possible fix (for discussion)
if final.get("status") != "success":
return [], final.get("message", "Fact verification failed.")
Add a regression test where the verifier returns an error and the pipeline returns that error.
Checklist
- I searched existing issues and PRs for
verifier,rate limit,Groq errorandfact check empty. Nothing matched this bug. PRs #148 and #150 touch the claim-extraction check only.
AI disclosure: I used Claude (Anthropic) to help find this bug and write the reproduction script.
- Ngôn ngữ chính
- TypeScript
- Star
- 58
- Fork
- 90
- Merge trung bình
- 11 giờ 51 phút
- Pull request đã merge (30 ngày)
- 3
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của AOSSIE-Org/Perspective
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
AOSSIE-Org/Perspective#190 ·
-
[BUG]: Missing input validation in URlRequest and ChatQuery causes 500 crashes and wasteful scraper executionCó thể đã có người làm @agarwalpranav0711 đã nhận 25 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
AOSSIE-Org/Perspective#178 ·
-
[BUG]: chunk_rag_data crashes with ValueError when perspective is a dict, silently dropping RAG vector storageCó thể đã có người làm @agarwalpranav0711 đã nhận 36 ngày trước. Đang mởbug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
AOSSIE-Org/Perspective#175 ·
-
[BUG]: Scraper passes headers as query params in requests.get (User-Agent never sent)Có thể đã có người làm @Th-Shivam đã nhận 50 ngày trước. Đang mởbug
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 92/100
AOSSIE-Org/Perspective#161 · 1 bình luận ·
-
docs: frontend/README.md is the default create-next-app boilerplateCó thể đã có người làm @Th-Shivam đã nhận 51 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
AOSSIE-Org/Perspective#159 · 1 bình luận ·
Tất cả issue của AOSSIE-Org/Perspective
Issue tương tự
-
documentation lens:human needs-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 73/100
thebristolsound/birdbrain#2246 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
A voting window past about 69.9 million hours stores a deadline that reads back as no deadlineĐang mởbug ready-for-human
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
BoardGamesEmpire/board-games-empire-backend#1452 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
good first issue stretch
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
Maintainer thường phản hồi trong vòng 1 ngày