Q57: live MeasuringWorth reference differs from fixed answer key
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 32/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- jupyter-notebook
- 領域
- data, documentation
調査の方向性
Start from officeqa_pro_v2.csv, question ID 57's source_docs metadata and the MeasuringWorth comparator URL it cites; compare the live Relative Labor Earnings output against the stored expected answer. Read databricks/officeqa#47 for the related convention debate. Done means the metadata pins a dated reference snapshot or an explicit conversion factor so the key reproduces within 1%, plus a reply to the reporter requesting the private reproduction.
索引モデルが issue の本文から書いたものです。
説明
Dataset and question
Dataset: databricks/officeqa-pro-v2
File: officeqa_pro_v2.csv
Question ID: 57
Reproducibility discrepancy
On October 6, 2026, I checked the external MeasuringWorth compensation comparator referenced in this question’s source_docs metadata.
Using the nominal amount from the cited Treasury document, the live calculator’s Relative Labor Earnings result differs from the dataset’s expected answer by approximately 2.06%.
The calculator labels its output “today,” while the question specifies 2026 dollars. The reference URL does not pin a target year or source vintage.
I have not established whether this reflects a data revision, a different reference vintage, or ambiguity in the target-year interpretation. However, the current reference does not reproduce the fixed answer key, even within a 1% tolerance.
Requested clarification
Could you clarify:
- Which source vintage and conversion factor were used to generate the answer?
- How “2026 dollars” should be interpreted for this comparator?
- Whether a dated reference snapshot or explicit conversion factor can be provided to make the question reproducible?
This appears related to the answer-revision and convention-clarification concerns raised in databricks/officeqa#47, although this report concerns Pro V2.
Following the approach in that issue, I am withholding the full question, answer values, and detailed calculation from this public report to avoid benchmark contamination. I can share the exact reproduction privately with the maintainers.
- 主要言語
- Jupyter Notebook
- スター
- 205
- フォーク
- 17
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
databricks/officeqa のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
databricks/officeqa#51 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
databricks/officeqa#50 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
databricks/officeqa#43 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 45/100
databricks/officeqa#57 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
databricks/officeqa#56 · コメント 1 件 ·
databricks/officeqa の issue をすべて見る
似ている issue
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
frazane/scoringrules#163 ·
メンテナーはふだん 1 日以内に返信
-
Spark: arrays_overlap returns false for -0.0 and 0.0, Spark returns true since 4.0.5 / 4.1.4 / 4.2.0対応中かも @rdtr が今日担当しました。 オープンbug triage
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
facebookincubator/velox#20179 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
BSData/horus-heresy-3rd-edition#3288 ·
メンテナーはふだん 1 日以内に返信
-
enhancement good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
SkyTruth/cerulean-cloud#219 ·
-
getRawTextContent() returns the lines of every page in reverse order (bottom to top) since 4.0.3オープン
難易度 1/5 1〜3時間 初心者へのやさしさ 90/100