embeddings-benchmark/mteb

誰かが対応中かもしれないイシューは最後に並べています。 すべて日付順に表示

• Should we requre reference models to be run on new tasks?

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement needs discussion

  難易度 4/5 3〜5日 初心者へのやさしさ 45/100

  embeddings-benchmark/mteb#5847 · リアクション 1 件 · 2026年11月5日 に作成

  メンテナーはふだん 1 日以内に返信

• Proposal: MTEB(ara, v1), an Arabic benchmark

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 32/100

  embeddings-benchmark/mteb#5845 · リアクション 1 件 · 2026年11月5日 に作成

  メンテナーはふだん 1 日以内に返信

• Add column descriptions to MIEB

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement leaderboard

  難易度 3/5 1〜2日 初心者へのやさしさ 35/100

  embeddings-benchmark/mteb#5841 · コメント 1 件 · 2026年11月4日 に作成

  メンテナーはふだん 1 日以内に返信

• Add column on supported modalities

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement leaderboard

  難易度 3/5 1〜2日 初心者へのやさしさ 45/100

  embeddings-benchmark/mteb#5840 · 2026年11月4日 に作成

  メンテナーはふだん 1 日以内に返信

• Include experimetns in the default model and allow people to fold it out

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement leaderboard needs discussion

  難易度 3/5 1〜2日 初心者へのやさしさ 48/100

  embeddings-benchmark/mteb#5839 · 2026年11月4日 に作成

  メンテナーはふだん 1 日以内に返信

• NovaSearch/stella_en_1.5B_v5 cannot be run with any transformers version (dtype kwarg vs. DynamicCache.get_usable_length)

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 25/100

  embeddings-benchmark/mteb#5832 · リアクション 1 件 · 2026年11月2日 に作成

  メンテナーはふだん 1 日以内に返信

• How should unknown collection dates be represented for a STARD task contribution?

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 35/100

  embeddings-benchmark/mteb#5819 · コメント 2 件 · 2026年10月30日 に作成

  メンテナーはふだん 1 日以内に返信

• Data problems in multimodal tasks

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 35/100

  embeddings-benchmark/mteb#5800 · コメント 1 件 · 2026年10月27日 に作成

  メンテナーはふだん 1 日以内に返信

• Evaluate models: papr-ai/papr-embed-code-1-4b and 0.6b on private RTEB(Code, beta) tasks

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 34/100

  embeddings-benchmark/mteb#5782 · 2026年10月26日 に作成

  メンテナーはふだん 1 日以内に返信

• Update `uv.lock` automatically

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 25/100

  embeddings-benchmark/mteb#5774 · 2026年10月24日 に作成

  メンテナーはふだん 1 日以内に返信

• Make links work with linkedin

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement

  難易度 2/5 1〜3時間 初心者へのやさしさ 64/100

  embeddings-benchmark/mteb#5773 · 2026年10月24日 に作成

  メンテナーはふだん 1 日以内に返信

• Enhancement: optional all-support@k diagnostics for multi-hop retrieval

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement

  難易度 5/5 1週間以上 初心者へのやさしさ 38/100

  embeddings-benchmark/mteb#5761 · コメント 5 件 · 2026年10月23日 に作成

  メンテナーはふだん 1 日以内に返信

• Make a graded openness metric that allows partial checks

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement needs discussion

  難易度 5/5 1週間以上 初心者へのやさしさ 35/100

  embeddings-benchmark/mteb#5745 · リアクション 1 件 · 2026年10月21日 に作成

  メンテナーはふだん 1 日以内に返信

• Request training-data provenance review and independent evaluation of Jasper-Token-Compression-600M

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  repro

  難易度 5/5 1週間以上 初心者へのやさしさ 15/100

  embeddings-benchmark/mteb#5733 · コメント 1 件 · 2026年10月20日 に作成

  メンテナーはふだん 1 日以内に返信

• Reconsider default scoring head in fp32

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  needs discussion

  難易度 4/5 1〜2日 初心者へのやさしさ 35/100

  embeddings-benchmark/mteb#5729 · コメント 1 件 · 2026年10月20日 に作成

  メンテナーはふだん 1 日以内に返信

• Rerun models with generic prompts if they opt in to task-first `prompt_priority`

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 35/100

  embeddings-benchmark/mteb#5706 · 2026年10月18日 に作成

  メンテナーはふだん 1 日以内に返信

• Handling "looped transformers"

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement needs discussion

  難易度 5/5 1週間以上 初心者へのやさしさ 25/100

  embeddings-benchmark/mteb#5705 · 2026年10月18日 に作成

  メンテナーはふだん 1 日以内に返信

• Rerun Reranker results after the fp32 scoring-head fix

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 25/100

  embeddings-benchmark/mteb#5702 · リアクション 1 件 · 2026年10月18日 に作成

  メンテナーはふだん 1 日以内に返信

• recompute scores for embedding gemma (v1)

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  evaluation request

  難易度 4/5 3〜5日 初心者へのやさしさ 38/100

  embeddings-benchmark/mteb#5699 · 2026年10月18日 に作成

  メンテナーはふだん 1 日以内に返信

• `processor_kwargs={"device": "cuda"}` should not count as an experiment

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement needs discussion

  難易度 3/5 半日 初心者へのやさしさ 45/100

  embeddings-benchmark/mteb#5668 · コメント 7 件 · 2026年10月15日 に作成

  メンテナーはふだん 1 日以内に返信

• refactor benchmarks.py

  再び着手できるかも @CatOn60Hz が 20 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement

  難易度 4/5 3〜5日 初心者へのやさしさ 22/100

  embeddings-benchmark/mteb#5667 · コメント 2 件 · 2026年10月15日 に作成

  メンテナーはふだん 1 日以内に返信

• Duplicate sib200.v2 results to v3 and change benchmarks to use v3

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement results

  難易度 3/5 1〜2日 初心者へのやさしさ 42/100

  embeddings-benchmark/mteb#5663 · 2026年10月15日 に作成

  メンテナーはふだん 1 日以内に返信

• Remove WeMM tokenizer workaround after transformers fix

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 1/5 1時間未満 初心者へのやさしさ 25/100

  embeddings-benchmark/mteb#5650 · 2026年10月13日 に作成

  メンテナーはふだん 1 日以内に返信

• Remove openness n/6 score since 4/6 is not nec. the same as 4/6

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement leaderboard

  難易度 2/5 1〜3時間 初心者へのやさしさ 42/100

  embeddings-benchmark/mteb#5649 · コメント 1 件 · 2026年10月13日 に作成

  メンテナーはふだん 1 日以内に返信

• Support multiple first-stage candidate sets as reranking task subsets

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement

  難易度 4/5 3〜5日 初心者へのやさしさ 22/100

  embeddings-benchmark/mteb#5648 · コメント 10 件 · 2026年10月13日 に作成

  メンテナーはふだん 1 日以内に返信

• Rerun after changes in output_dtype

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 35/100

  embeddings-benchmark/mteb#5645 · 2026年10月13日 に作成

  メンテナーはふだん 1 日以内に返信

• Reruns (Stale Results)

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1週間以上 初心者へのやさしさ 12/100

  embeddings-benchmark/mteb#5622 · 2026年10月10日 に作成

  メンテナーはふだん 1 日以内に返信

• Add dataset: STEB

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  new dataset

  難易度 3/5 半日 初心者へのやさしさ 65/100

  embeddings-benchmark/mteb#5591 · リアクション 1 件 · 2026年10月6日 に作成

  メンテナーはふだん 1 日以内に返信

• Improve model coverage of top-tier models

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement evaluation request

  難易度 4/5 3〜5日 初心者へのやさしさ 42/100

  embeddings-benchmark/mteb#5589 · コメント 4 件 · 2026年10月6日 に作成

  メンテナーはふだん 1 日以内に返信

• Add GPU to CI tests suite

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement

  難易度 4/5 3〜5日 初心者へのやさしさ 30/100

  embeddings-benchmark/mteb#5587 · 2026年10月5日 に作成

  メンテナーはふだん 1 日以内に返信

• Speed up imports with (pseudo) lazy imports

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement needs discussion

  難易度 3/5 1〜2日 初心者へのやさしさ 68/100

  embeddings-benchmark/mteb#5586 · コメント 5 件 · 2026年10月5日 に作成

  メンテナーはふだん 1 日以内に返信

• Add "news" to the leaderboard

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement leaderboard

  難易度 4/5 3〜5日 初心者へのやさしさ 52/100

  embeddings-benchmark/mteb#5562 · コメント 5 件 · 2026年10月1日 に作成

  メンテナーはふだん 1 日以内に返信

• Add dataset: ProCQA C answer retrieval

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  new dataset

  難易度 4/5 3〜5日 初心者へのやさしさ 35/100

  embeddings-benchmark/mteb#5541 · 2026年9月25日 に作成

  メンテナーはふだん 1 日以内に返信

• Add model: Ovis-Embedding

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  new model

  難易度 3/5 1〜2日 初心者へのやさしさ 68/100

  embeddings-benchmark/mteb#5538 · コメント 3 件 · 2026年9月24日 に作成

  メンテナーはふだん 1 日以内に返信

• Add dataset: INSPIRE A Benchmark for Instruction-Aware Speech Retrieval

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  audio new dataset

  難易度 3/5 半日 初心者へのやさしさ 66/100

  embeddings-benchmark/mteb#5530 · 2026年9月23日 に作成

  メンテナーはふだん 1 日以内に返信

• Figure out a better system for handling versioned benchmarks and tasks

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement leaderboard needs discussion

  難易度 5/5 1週間以上 初心者へのやさしさ 30/100

  embeddings-benchmark/mteb#5527 · コメント 2 件 · 2026年9月23日 に作成

  メンテナーはふだん 1 日以内に返信

• Consider approach for removing models

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 30/100

  embeddings-benchmark/mteb#5525 · コメント 3 件 · 2026年9月23日 に作成

  メンテナーはふだん 1 日以内に返信

• request: Add docker container for running mteb evaluation

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement needs discussion

  難易度 2/5 1〜3時間 初心者へのやさしさ 68/100

  embeddings-benchmark/mteb#5523 · コメント 2 件 · 2026年9月23日 に作成

  メンテナーはふだん 1 日以内に返信

• [Feature Request] Benchmark Jev-style structured judgments in MTEB

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement

  難易度 4/5 3〜5日 初心者へのやさしさ 45/100

  embeddings-benchmark/mteb#5505 · コメント 4 件 · リアクション 1 件 · 2026年9月21日 に作成

  メンテナーはふだん 1 日以内に返信

• Multilabel classification: the 2000-row test cap never applies (stratify_by_column fails on List labels)

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 2/5 1〜3時間 初心者へのやさしさ 72/100

  embeddings-benchmark/mteb#5504 · コメント 2 件 · 2026年9月21日 に作成

  メンテナーはふだん 1 日以内に返信

• [MOEB data audit]ImageCoDe / ImageCoDeT2IRetrieval: scrambled image indices cause incorrect labels

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 64/100

  embeddings-benchmark/mteb#5499 · コメント 2 件 · 2026年9月20日 に作成

  メンテナーはふだん 1 日以内に返信

• Add citation validation

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement

  難易度 3/5 1〜2日 初心者へのやさしさ 65/100

  embeddings-benchmark/mteb#5471 · コメント 13 件 · 2026年9月15日 に作成

  メンテナーはふだん 1 日以内に返信

• How should we handle audio longer than a model can process?

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 35/100

  embeddings-benchmark/mteb#5460 · コメント 17 件 · リアクション 3 件 · 2026年9月13日 に作成

  メンテナーはふだん 1 日以内に返信

• [Dataset] SpokenCOCO Audio-to-(Image+Text) Retrieval (A2IT)

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  new dataset

  難易度 3/5 1〜2日 初心者へのやさしさ 72/100

  embeddings-benchmark/mteb#5431 · 2026年9月9日 に作成

  メンテナーはふだん 1 日以内に返信

• [Dataset] GOT-10k Image↔Video Retrieval (I2V / V2I)

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  new dataset

  難易度 3/5 1〜2日 初心者へのやさしさ 58/100

  embeddings-benchmark/mteb#5429 · 2026年9月9日 に作成

  メンテナーはふだん 1 日以内に返信

• Quality Concerns in 11 MMTEB Datasets

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  Decision

  難易度 4/5 3〜5日 初心者へのやさしさ 50/100

  embeddings-benchmark/mteb#5416 · コメント 16 件 · リアクション 2 件 · 2026年9月8日 に作成

  メンテナーはふだん 1 日以内に返信

• Add dataset: MusicA2VRetrieval & MusicV2ARetrieval (audio ↔ video)

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  new dataset

  難易度 4/5 3〜5日 初心者へのやさしさ 62/100

  embeddings-benchmark/mteb#5411 · 2026年9月8日 に作成

  メンテナーはふだん 1 日以内に返信

• Leaderboard: add option to view all by organization

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  leaderboard

  難易度 3/5 1〜2日 初心者へのやさしさ 62/100

  embeddings-benchmark/mteb#5407 · コメント 6 件 · 2026年9月7日 に作成

  メンテナーはふだん 1 日以内に返信

• Add model: NeoMME

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  new model

  難易度 2/5 1〜3時間 初心者へのやさしさ 68/100

  embeddings-benchmark/mteb#5375 · コメント 2 件 · 2026年9月4日 に作成

  メンテナーはふだん 1 日以内に返信

• MOEB [Paper Experiment] - Latent Dimensions

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 45/100

  embeddings-benchmark/mteb#5367 · コメント 1 件 · 2026年9月2日 に作成

  メンテナーはふだん 1 日以内に返信