Q57: live MeasuringWorth reference differs from fixed answer key

Đang mở
  • Có gì không ổn?
#58 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
32/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
jupyter-notebook
Lĩnh vực
data, documentation

Hướng nghiên cứu

Start from officeqa_pro_v2.csv, question ID 57's source_docs metadata and the MeasuringWorth comparator URL it cites; compare the live Relative Labor Earnings output against the stored expected answer. Read databricks/officeqa#47 for the related convention debate. Done means the metadata pins a dated reference snapshot or an explicit conversion factor so the key reproduces within 1%, plus a reply to the reporter requesting the private reproduction.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Dataset and question

Dataset: databricks/officeqa-pro-v2
File: officeqa_pro_v2.csv
Question ID: 57

Reproducibility discrepancy

On October 6, 2026, I checked the external MeasuringWorth compensation comparator referenced in this question’s source_docs metadata.

Using the nominal amount from the cited Treasury document, the live calculator’s Relative Labor Earnings result differs from the dataset’s expected answer by approximately 2.06%.

The calculator labels its output “today,” while the question specifies 2026 dollars. The reference URL does not pin a target year or source vintage.

I have not established whether this reflects a data revision, a different reference vintage, or ambiguity in the target-year interpretation. However, the current reference does not reproduce the fixed answer key, even within a 1% tolerance.

Requested clarification

Could you clarify:

  • Which source vintage and conversion factor were used to generate the answer?
  • How “2026 dollars” should be interpreted for this comparator?
  • Whether a dated reference snapshot or explicit conversion factor can be provided to make the question reproducible?

This appears related to the answer-revision and convention-clarification concerns raised in databricks/officeqa#47, although this report concerns Pro V2.

Following the approach in that issue, I am withholding the full question, answer values, and detailed calculation from this public report to avoid benchmark contamination. I can share the exact reproduction privately with the maintainers.

Ngôn ngữ chính
Jupyter Notebook
Star
205
Fork
17
Không có pull request nào được merge trong 30 ngày

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của databricks/officeqa

Tất cả issue của databricks/officeqa

Issue tương tự

Thêm issue về Data Engineering

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.