embeddings-benchmark

誰かが対応中かもしれないイシューは最後に並べています。 すべて日付順に表示

• Add dataset: STEB

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  new dataset

  難易度 3/5 半日 初心者へのやさしさ 65/100

  embeddings-benchmark/mteb#5591 · リアクション 1 件 · 2026年10月6日 に作成

  メンテナーはふだん 1 日以内に返信

• Remove duplicate openness information from the model card

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement leaderboard

  難易度 2/5 1〜3時間 初心者へのやさしさ 72/100

  embeddings-benchmark/mteb#5590 · コメント 3 件 · 2026年10月6日 に作成

  メンテナーはふだん 1 日以内に返信

• Improve model coverage of top-tier models

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement evaluation request

  難易度 4/5 3〜5日 初心者へのやさしさ 42/100

  embeddings-benchmark/mteb#5589 · 2026年10月6日 に作成

  メンテナーはふだん 1 日以内に返信

• Add GPU to CI tests suite

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement

  難易度 4/5 3〜5日 初心者へのやさしさ 30/100

  embeddings-benchmark/mteb#5587 · 2026年10月5日 に作成

  メンテナーはふだん 1 日以内に返信

• Speed up imports with (pseudo) lazy imports

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement needs discussion

  難易度 3/5 1〜2日 初心者へのやさしさ 68/100

  embeddings-benchmark/mteb#5586 · コメント 5 件 · 2026年10月5日 に作成

  メンテナーはふだん 1 日以内に返信

• Add index backend for sparse and multivector models

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement

  難易度 4/5 3〜5日 初心者へのやさしさ 42/100

  embeddings-benchmark/mteb#5568 · 2026年10月2日 に作成

  メンテナーはふだん 1 日以内に返信

• Rewrite "run leaderboard" section

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  documentation needs discussion

  難易度 1/5 1時間未満 初心者へのやさしさ 72/100

  embeddings-benchmark/mteb#5566 · リアクション 1 件 · 2026年10月2日 に作成

  メンテナーはふだん 1 日以内に返信

• Add "news" to the leaderboard

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement leaderboard

  難易度 4/5 3〜5日 初心者へのやさしさ 52/100

  embeddings-benchmark/mteb#5562 · コメント 5 件 · 2026年10月1日 に作成

  メンテナーはふだん 1 日以内に返信

• Add dataset: ProCQA C answer retrieval

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  new dataset

  難易度 4/5 3〜5日 初心者へのやさしさ 35/100

  embeddings-benchmark/mteb#5541 · 2026年9月25日 に作成

  メンテナーはふだん 1 日以内に返信

• Add model: Ovis-Embedding

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  new model

  難易度 3/5 1〜2日 初心者へのやさしさ 68/100

  embeddings-benchmark/mteb#5538 · コメント 3 件 · 2026年9月24日 に作成

  メンテナーはふだん 1 日以内に返信

• Add dataset: TurkishRAGEvalRetrieval (Turkish health passage retrieval)

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  new dataset

  難易度 3/5 半日 初心者へのやさしさ 62/100

  embeddings-benchmark/mteb#5536 · 2026年9月24日 に作成

  メンテナーはふだん 1 日以内に返信

• Add dataset: INSPIRE A Benchmark for Instruction-Aware Speech Retrieval

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  audio new dataset

  難易度 3/5 半日 初心者へのやさしさ 66/100

  embeddings-benchmark/mteb#5530 · 2026年9月23日 に作成

  メンテナーはふだん 1 日以内に返信

• Merge `Zero-shot classification` with `retrieval` tasks

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  ready for implementation

  難易度 4/5 3〜5日 初心者へのやさしさ 52/100

  embeddings-benchmark/mteb#5529 · コメント 7 件 · リアクション 2 件 · 2026年9月23日 に作成

  メンテナーはふだん 1 日以内に返信

• Figure out a better system for handling versioned benchmarks and tasks

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement leaderboard needs discussion

  難易度 5/5 1週間以上 初心者へのやさしさ 30/100

  embeddings-benchmark/mteb#5527 · コメント 1 件 · 2026年9月23日 に作成

  メンテナーはふだん 1 日以内に返信

• Consider approach for removing models

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 30/100

  embeddings-benchmark/mteb#5525 · コメント 2 件 · 2026年9月23日 に作成

  メンテナーはふだん 1 日以内に返信

• request: Add docker container for running mteb evaluation

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement needs discussion

  難易度 2/5 1〜3時間 初心者へのやさしさ 68/100

  embeddings-benchmark/mteb#5523 · コメント 2 件 · 2026年9月23日 に作成

  メンテナーはふだん 1 日以内に返信

• Reference Model Coverage Tests fail: missing MTEB(slk, v1) results for reference models

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  evaluation request

  難易度 4/5 3〜5日 初心者へのやさしさ 45/100

  embeddings-benchmark/mteb#5508 · コメント 5 件 · 2026年9月21日 に作成

  メンテナーはふだん 1 日以内に返信

• [Feature Request] Benchmark Jev-style structured judgments in MTEB

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement

  難易度 4/5 3〜5日 初心者へのやさしさ 45/100

  embeddings-benchmark/mteb#5505 · コメント 4 件 · リアクション 1 件 · 2026年9月21日 に作成

  メンテナーはふだん 1 日以内に返信

• [MOEB data audit]ImageCoDe / ImageCoDeT2IRetrieval: scrambled image indices cause incorrect labels

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 64/100

  embeddings-benchmark/mteb#5499 · コメント 2 件 · 2026年9月20日 に作成

  メンテナーはふだん 1 日以内に返信

• reduce time to create `uv.lock`

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 58/100

  embeddings-benchmark/mteb#5482 · コメント 10 件 · リアクション 2 件 · 2026年9月18日 に作成

  メンテナーはふだん 1 日以内に返信

• Add citation validation

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement

  難易度 3/5 1〜2日 初心者へのやさしさ 65/100

  embeddings-benchmark/mteb#5471 · コメント 13 件 · 2026年9月15日 に作成

  メンテナーはふだん 1 日以内に返信

• How should we handle audio longer than a model can process?

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 35/100

  embeddings-benchmark/mteb#5460 · コメント 17 件 · リアクション 3 件 · 2026年9月13日 に作成

  メンテナーはふだん 1 日以内に返信

• [Dataset] SpokenCOCO Audio-to-(Image+Text) Retrieval (A2IT)

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  new dataset

  難易度 3/5 1〜2日 初心者へのやさしさ 72/100

  embeddings-benchmark/mteb#5431 · 2026年9月9日 に作成

  メンテナーはふだん 1 日以内に返信

• Quality Concerns in 11 MMTEB Datasets

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  Decision

  難易度 4/5 3〜5日 初心者へのやさしさ 50/100

  embeddings-benchmark/mteb#5416 · コメント 10 件 · リアクション 2 件 · 2026年9月8日 に作成

  メンテナーはふだん 1 日以内に返信

• Add dataset: MusicA2VRetrieval & MusicV2ARetrieval (audio ↔ video)

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  new dataset

  難易度 4/5 3〜5日 初心者へのやさしさ 62/100

  embeddings-benchmark/mteb#5411 · 2026年9月8日 に作成

  メンテナーはふだん 1 日以内に返信

• Leaderboard: add option to view all by dev

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  leaderboard

  難易度 3/5 1〜2日 初心者へのやさしさ 62/100

  embeddings-benchmark/mteb#5407 · コメント 6 件 · 2026年9月7日 に作成

  メンテナーはふだん 1 日以内に返信

• Add model: NeoMME

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  new model

  難易度 2/5 1〜3時間 初心者へのやさしさ 68/100

  embeddings-benchmark/mteb#5375 · コメント 2 件 · 2026年9月4日 に作成

  メンテナーはふだん 1 日以内に返信

• MOEB [Paper Experiment] - Latent Dimensions

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 45/100

  embeddings-benchmark/mteb#5367 · コメント 1 件 · 2026年9月2日 に作成

  メンテナーはふだん 1 日以内に返信

• MOEB [Paper Experiment] - Prompt Sensitivity

  再び着手できるかも @deep9539 が 33 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  embeddings-benchmark/mteb#5363 · コメント 3 件 · 担当者 1 名 · 2026年9月1日 に作成

  メンテナーはふだん 1 日以内に返信

• MOEB [Paper Experiment] - Sampling Budget

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 35/100

  embeddings-benchmark/mteb#5362 · コメント 7 件 · 2026年9月1日 に作成

  メンテナーはふだん 1 日以内に返信

• MOEB [Paper Experiment] - Omni vs Specialist models

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 48/100

  embeddings-benchmark/mteb#5361 · コメント 4 件 · 2026年9月1日 に作成

  メンテナーはふだん 1 日以内に返信

• MOEB [Paper Experiment] - Directional Asymmentry

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 35/100

  embeddings-benchmark/mteb#5360 · コメント 1 件 · 2026年9月1日 に作成

  メンテナーはふだん 1 日以内に返信

• MOEB [Paper Experiment] - Modality Gap in Omni-Models

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 32/100

  embeddings-benchmark/mteb#5359 · コメント 1 件 · 2026年9月1日 に作成

  メンテナーはふだん 1 日以内に返信

• Consider not accepting datasets with unclear licenses

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  needs discussion

  難易度 4/5 1週間以上 初心者へのやさしさ 25/100

  embeddings-benchmark/mteb#5348 · コメント 2 件 · リアクション 1 件 · 2026年8月31日 に作成

  メンテナーはふだん 1 日以内に返信

• Single-pass retrieval scores cannot distinguish models that diverge under iteration

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 2/5 1〜3時間 初心者へのやさしさ 48/100

  embeddings-benchmark/mteb#5330 · コメント 2 件 · 2026年8月29日 に作成

  メンテナーはふだん 1 日以内に返信

• Add dataset: MLIR

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  new dataset

  難易度 3/5 半日 初心者へのやさしさ 65/100

  embeddings-benchmark/mteb#5311 · コメント 1 件 · リアクション 3 件 · 2026年8月27日 に作成

  メンテナーはふだん 1 日以内に返信

• Make possible to customize model type during evaluation

  再び着手できるかも このイシューのプルリクエストはマージされずにクローズされました。 オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement

  難易度 4/5 3〜5日 初心者へのやさしさ 48/100

  embeddings-benchmark/mteb#5300 · コメント 1 件 · 2026年8月25日 に作成

  メンテナーはふだん 1 日以内に返信

• Add dataset: ACM

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  new dataset

  難易度 3/5 1〜2日 初心者へのやさしさ 62/100

  embeddings-benchmark/mteb#5299 · 2026年8月25日 に作成

  メンテナーはふだん 1 日以内に返信

• Beta benchmarks - when is v1?

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 30/100

  embeddings-benchmark/mteb#5292 · コメント 5 件 · リアクション 2 件 · 2026年8月24日 に作成

  メンテナーはふだん 1 日以内に返信

• [MOEB][data audit]Add metric reliability diagnostics for classification benchmarks

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  more information needed

  難易度 4/5 3〜5日 初心者へのやさしさ 42/100

  embeddings-benchmark/mteb#5273 · コメント 2 件 · 2026年8月23日 に作成

  メンテナーはふだん 1 日以内に返信

• [Audit] Measuring frontier saturation in MOEB tasks

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 42/100

  embeddings-benchmark/mteb#5271 · コメント 1 件 · 2026年8月23日 に作成

  メンテナーはふだん 1 日以内に返信

• Optional EvalPort interop for MTEB task metadata and results

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 38/100

  embeddings-benchmark/mteb#5267 · 2026年8月22日 に作成

  メンテナーはふだん 1 日以内に返信

• Omnimodal wikipedia

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  new model research project

  難易度 5/5 1週間以上 初心者へのやさしさ 35/100

  embeddings-benchmark/mteb#5254 · コメント 16 件 · 2026年8月20日 に作成

  メンテナーはふだん 1 日以内に返信

• Dataset Versioning (v2 suffix)

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement

  難易度 5/5 1週間以上 初心者へのやさしさ 32/100

  embeddings-benchmark/mteb#5243 · コメント 1 件 · 2026年8月19日 に作成

  メンテナーはふだん 1 日以内に返信

• Improve security of MTEB

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement

  難易度 4/5 3〜5日 初心者へのやさしさ 42/100

  embeddings-benchmark/mteb#5236 · コメント 6 件 · 2026年8月17日 に作成

  メンテナーはふだん 1 日以内に返信

• Ensure dtype is fp32 during vector comparison during evaluation

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement results

  難易度 3/5 1〜2日 初心者へのやさしさ 64/100

  embeddings-benchmark/mteb#5229 · コメント 3 件 · リアクション 1 件 · 2026年8月17日 に作成

  メンテナーはふだん 1 日以内に返信

• Some results on the leaderboard are not comparable

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  repro results

  難易度 4/5 3〜5日 初心者へのやさしさ 45/100

  embeddings-benchmark/mteb#5228 · コメント 8 件 · リアクション 1 件 · 2026年8月17日 に作成

  メンテナーはふだん 1 日以内に返信

• [Discussion] Align M-BEIR metrics while preserving historical results

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 35/100

  embeddings-benchmark/mteb#5214 · コメント 3 件 · 2026年8月15日 に作成

  メンテナーはふだん 1 日以内に返信

• Add model: Tianmu-Emb-Uni

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  new model

  難易度 2/5 1〜3時間 初心者へのやさしさ 62/100

  embeddings-benchmark/mteb#5213 · コメント 2 件 · 2026年8月15日 に作成

  メンテナーはふだん 1 日以内に返信

• Add model: NatureLM-audio

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  new model

  難易度 3/5 1〜2日 初心者へのやさしさ 62/100

  embeddings-benchmark/mteb#5212 · 2026年8月15日 に作成

  メンテナーはふだん 1 日以内に返信