[BUG] LightevalTaskConfig doesn't support comparison, but Cache management uses sorted on it
メンテナーはふだん 1 日以内に返信
評価
調査の方向性
issue の YAML タスク組み合わせを再現し、SampleCache:_get_task_hash が LightevalTaskConfig の値をソートする前に、グループがどのように展開されるかを追跡します。重複したタスクが生成されなくなったときに失敗が解消されることを確認し、その後、報告された設定を再実行して正常に完了させます。
索引モデルが issue の本文から書いたものです。
説明
Describe the bug
Specify two tasks as below:
helm|boolq|0
helm|boolq:contrastset|0
The current logic will assume "helm|boolq" is a group and will add "helm|boolq:contrastset" again, then "helm|boolq:contrastset" will appear twice, later at SampleCache:_get_task_hash sorted is used to sort these two, and
an error "<" is not supported on LightevalTaskConfig is raised
To Reproduce
Specify two tasks as below in yaml:
helm|boolq|0
helm|boolq:contrastset|0
Expected behavior
Run should succeed
Version info
0.11.0
- 主要言語
- Python
- スター
- 2.6k
- フォーク
- 605
- 平均マージ
- 2日 3時間
- マージ済み PR（30日）
- 3
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
huggingface/lighteval のほかの issue
-
難易度 2/5 1時間未満 初心者へのやさしさ 76/100
huggingface/lighteval#1486 ·
メンテナーはふだん 1 日以内に返信
-
[BUG] Belebele cf tasks fail for Latvian, Lithuanian, Maltese and Slovenian: missing translation literals対応中かも @inchang-ing が 4 日前に担当しました。 オープンbug
難易度 1/5 1〜3時間 初心者へのやさしさ 74/100
huggingface/lighteval#1471 ·
メンテナーはふだん 1 日以内に返信
-
[BUG] Stderr of `_average` and `all` rows is the mean of the subtask stderrs (about 7x too large for MMLU)対応中かも @Andreas-Hum が 5 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
huggingface/lighteval#1466 ·
メンテナーはふだん 1 日以内に返信
-
[BUG] Reasoning tag removal fails when <think> is part of the input prompt対応中かも @selimfedakar が 9 日前に担当しました。 オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
huggingface/lighteval#1453 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
[BUG] TruthfulQA MC2 drops true answers after a gap in gold indexes対応中かも @salma2vec が 17 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
huggingface/lighteval#1442 ·
メンテナーはふだん 1 日以内に返信
huggingface/lighteval の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
RunestoneInteractive/rs#1661 ·
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 64/100
streamlink/streamlink#7192 · コメント 4 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1〜3時間 初心者へのやさしさ 75/100
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
aws-samples/sample-per-model-bedrock#795 ·
メンテナーはふだん 1 日以内に返信