Kappa computation when predicted scores are on a different scale
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 25/100
- issue の種類
- バグ
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- python, scikit-learn
調査の方向性
ファイル、テスト、エントリーポイントのいずれも指定されていません。まず kappa の計算箇所を特定し、1233372304332.22–1723509896207.16 前後の予測スコアと 1–5 の観測スコアで失敗を再現してください。重複しない、または過度に大きいスコア範囲に対する合意済みのポリシーが実装され、失敗がテストでカバーされれば完了です。
索引モデルが issue の本文から書いたものです。
説明
In a situation where predicted scores are on a completely different scale from the observed scores, kappa computation fails because the range of possible scores is too large. We saw this recently with SGDRegressor which produced scores in the range 1233372304332.22 to 1723509896207.16 when human scores were 1-5.
Few possible solutions:
(1) Do not compute kappa if there is no overlap in range between predicted and observed scores.
(2) Do not compute kappa if the range is greater than certain threshold.
Thoughts?
- 主要言語
- Python
- スター
- 71
- フォーク
- 21
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
EducationalTestingService/rsmtool のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
EducationalTestingService/rsmtool#689 · コメント 5 件 ·
-
enhancement
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
-
EducationalTestingService/rsmtool#557 · 担当者 1 名 ·
-
enhancement
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
-
good first issue help wanted
難易度 4/5 3〜5日 初心者へのやさしさ 30/100
EducationalTestingService/rsmtool の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
anthropics/skills#1811 · コメント 1 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
speaches-ai/speaches#678 ·
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
datalayer/mcp-compose#42 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
conda-forge/spacy-feedstock#177 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
UKGovernmentBEIS/inspect_evals#2523 ·