Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

embeddings-benchmark/mteb

Accedi per seguire Vedi su GitHub

MTEB: State-of-the-art evaluation of embeddings across languages and modalities

embeddings-benchmark/mteb è adatto ai principianti?

Negli ultimi 30 giorni embeddings-benchmark/mteb ha accettato 56 delle 93 pull request di contributori esterni, e i suoi maintainer di solito rispondono entro 1 giorno. In questo momento sono aperte 8 issue adatte ai principianti.

Stelle
3.4k
Fork
718
Issue aperte per principianti
8
Issue indicizzate
286
Merge medio
1g 11h
PR unite (30g)
81
Lingua principale
Python
Licenza
Apache-2.0
Ultimo push su GitHub
7/10/2026
Ultima indicizzazione
7/10/2026
Guida per i contributori
Nessun codice di condotta
Label per principianti
good first issue help wanted

Come contribuire a embeddings-benchmark/mteb

  1. Leggi prima la guida per contribuire: spiega come i maintainer vogliono che le modifiche siano proposte, testate e revisionate.
  2. Include un Dockerfile o un file Docker Compose, quindi puoi avviarlo senza installare tutta la sua toolchain.
  3. I tuoi contributi saranno pubblicati con la licenza Apache-2.0 del progetto.
  4. Scegli una delle 8 issue aperte adatte ai principianti qui sotto e, prima di iniziare, scrivi in un commento che vuoi occupartene.
Adatte ai principianti Tutto
Aperta Tutte

Le issue su cui forse qualcuno sta già lavorando sono in fondo alla lista. Ordina tutto per data

  • Add dataset: STEB
    Aperta
    • Qualcosa non va?
    new dataset

    Difficoltà 3/5 Mezza giornata Idoneità per principianti 65/100

    embeddings-benchmark/mteb#5591 · 1 reazione ·

    I maintainer di solito rispondono entro 1 giorno

  • Remove duplicate openness information from the model card
    Aperta
    • Qualcosa non va?
    enhancement leaderboard

    Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100

    embeddings-benchmark/mteb#5590 · 3 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • Improve model coverage of top-tier models
    Aperta
    • Qualcosa non va?
    enhancement evaluation request

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 42/100

    embeddings-benchmark/mteb#5589 ·

    I maintainer di solito rispondono entro 1 giorno

  • Add GPU to CI tests suite
    Aperta
    • Qualcosa non va?
    enhancement

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100

    embeddings-benchmark/mteb#5587 ·

    I maintainer di solito rispondono entro 1 giorno

  • Speed up imports with (pseudo) lazy imports
    Aperta
    • Qualcosa non va?
    enhancement needs discussion

    Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100

    embeddings-benchmark/mteb#5586 · 5 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • Add index backend for sparse and multivector models
    Aperta
    • Qualcosa non va?
    enhancement

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 42/100

    embeddings-benchmark/mteb#5568 ·

    I maintainer di solito rispondono entro 1 giorno

  • Rewrite "run leaderboard" section
    Aperta
    • Qualcosa non va?
    documentation needs discussion

    Difficoltà 1/5 Meno di un'ora Idoneità per principianti 72/100

    embeddings-benchmark/mteb#5566 · 1 reazione ·

    I maintainer di solito rispondono entro 1 giorno

  • Add "news" to the leaderboard
    Aperta
    • Qualcosa non va?
    enhancement leaderboard

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 52/100

    embeddings-benchmark/mteb#5562 · 5 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • Add dataset: ProCQA C answer retrieval
    Aperta
    • Qualcosa non va?
    new dataset

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

    embeddings-benchmark/mteb#5541 ·

    I maintainer di solito rispondono entro 1 giorno

  • Add model: Ovis-Embedding
    Aperta
    • Qualcosa non va?
    new model

    Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100

    embeddings-benchmark/mteb#5538 · 3 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • Add dataset: INSPIRE A Benchmark for Instruction-Aware Speech Retrieval
    Aperta
    • Qualcosa non va?
    audio new dataset

    Difficoltà 3/5 Mezza giornata Idoneità per principianti 66/100

    embeddings-benchmark/mteb#5530 ·

    I maintainer di solito rispondono entro 1 giorno

  • Merge `Zero-shot classification` with `retrieval` tasks
    Aperta
    • Qualcosa non va?
    ready for implementation

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 52/100

    embeddings-benchmark/mteb#5529 · 7 commenti · 2 reazioni ·

    I maintainer di solito rispondono entro 1 giorno

  • Figure out a better system for handling versioned benchmarks and tasks
    Aperta
    • Qualcosa non va?
    enhancement leaderboard needs discussion

    Difficoltà 5/5 Più di una settimana Idoneità per principianti 30/100

    embeddings-benchmark/mteb#5527 · 1 commento ·

    I maintainer di solito rispondono entro 1 giorno

  • Consider approach for removing models
    Aperta
    • Qualcosa non va?

    Difficoltà 5/5 Più di una settimana Idoneità per principianti 30/100

    embeddings-benchmark/mteb#5525 · 2 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • request: Add docker container for running mteb evaluation
    Aperta
    • Qualcosa non va?
    enhancement needs discussion

    Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100

    embeddings-benchmark/mteb#5523 · 2 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • Reference Model Coverage Tests fail: missing MTEB(slk, v1) results for reference models
    Aperta
    • Qualcosa non va?
    evaluation request

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

    embeddings-benchmark/mteb#5508 · 5 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • [Feature Request] Benchmark Jev-style structured judgments in MTEB
    Aperta
    • Qualcosa non va?
    enhancement

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

    embeddings-benchmark/mteb#5505 · 4 commenti · 1 reazione ·

    I maintainer di solito rispondono entro 1 giorno

  • [MOEB data audit]ImageCoDe / ImageCoDeT2IRetrieval: scrambled image indices cause incorrect labels
    Aperta
    • Qualcosa non va?

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 64/100

    embeddings-benchmark/mteb#5499 · 2 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • reduce time to create `uv.lock`
    Aperta
    • Qualcosa non va?

    Difficoltà 3/5 1-2 giorni Idoneità per principianti 58/100

    embeddings-benchmark/mteb#5482 · 10 commenti · 2 reazioni ·

    I maintainer di solito rispondono entro 1 giorno

  • Add citation validation
    Aperta
    • Qualcosa non va?
    enhancement

    Difficoltà 3/5 1-2 giorni Idoneità per principianti 65/100

    embeddings-benchmark/mteb#5471 · 13 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • How should we handle audio longer than a model can process?
    Aperta
    • Qualcosa non va?

    Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

    embeddings-benchmark/mteb#5460 · 17 commenti · 3 reazioni ·

    I maintainer di solito rispondono entro 1 giorno

  • [Dataset] SpokenCOCO Audio-to-(Image+Text) Retrieval (A2IT)
    Aperta
    • Qualcosa non va?
    new dataset

    Difficoltà 3/5 1-2 giorni Idoneità per principianti 72/100

    embeddings-benchmark/mteb#5431 ·

    I maintainer di solito rispondono entro 1 giorno

  • Quality Concerns in 11 MMTEB Datasets
    Aperta
    • Qualcosa non va?
    Decision

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 50/100

    embeddings-benchmark/mteb#5416 · 10 commenti · 2 reazioni ·

    I maintainer di solito rispondono entro 1 giorno

  • Add dataset: MusicA2VRetrieval & MusicV2ARetrieval (audio ↔ video)
    Aperta
    • Qualcosa non va?
    new dataset

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 62/100

    embeddings-benchmark/mteb#5411 ·

    I maintainer di solito rispondono entro 1 giorno

  • Leaderboard: add option to view all by organization
    Aperta
    • Qualcosa non va?
    leaderboard

    Difficoltà 3/5 1-2 giorni Idoneità per principianti 62/100

    embeddings-benchmark/mteb#5407 · 6 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • Add model: NeoMME
    Aperta
    • Qualcosa non va?
    new model

    Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100

    embeddings-benchmark/mteb#5375 · 2 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • MOEB [Paper Experiment] - Latent Dimensions
    Aperta
    • Qualcosa non va?

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

    embeddings-benchmark/mteb#5367 · 1 commento ·

    I maintainer di solito rispondono entro 1 giorno

  • MOEB [Paper Experiment] - Prompt Sensitivity
    Forse di nuovo libera Aperta
    • Qualcosa non va?

    embeddings-benchmark/mteb#5363 · 3 commenti · 1 assegnatario ·

    I maintainer di solito rispondono entro 1 giorno

  • MOEB [Paper Experiment] - Sampling Budget
    Aperta
    • Qualcosa non va?

    Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

    embeddings-benchmark/mteb#5362 · 7 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • MOEB [Paper Experiment] - Omni vs Specialist models
    Aperta
    • Qualcosa non va?

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

    embeddings-benchmark/mteb#5361 · 4 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • MOEB [Paper Experiment] - Directional Asymmentry
    Aperta
    • Qualcosa non va?

    Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

    embeddings-benchmark/mteb#5360 · 1 commento ·

    I maintainer di solito rispondono entro 1 giorno

  • MOEB [Paper Experiment] - Modality Gap in Omni-Models
    Aperta
    • Qualcosa non va?

    Difficoltà 5/5 Più di una settimana Idoneità per principianti 32/100

    embeddings-benchmark/mteb#5359 · 1 commento ·

    I maintainer di solito rispondono entro 1 giorno

  • Consider not accepting datasets with unclear licenses
    Aperta
    • Qualcosa non va?
    needs discussion

    Difficoltà 4/5 Più di una settimana Idoneità per principianti 25/100

    embeddings-benchmark/mteb#5348 · 2 commenti · 1 reazione ·

    I maintainer di solito rispondono entro 1 giorno

  • Single-pass retrieval scores cannot distinguish models that diverge under iteration
    Aperta
    • Qualcosa non va?

    Difficoltà 2/5 1-3 ore Idoneità per principianti 48/100

    embeddings-benchmark/mteb#5330 · 2 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • Add dataset: MLIR
    Aperta
    • Qualcosa non va?
    new dataset

    Difficoltà 3/5 Mezza giornata Idoneità per principianti 65/100

    embeddings-benchmark/mteb#5311 · 1 commento · 3 reazioni ·

    I maintainer di solito rispondono entro 1 giorno

  • Make possible to customize model type during evaluation
    Forse di nuovo libera Aperta
    • Qualcosa non va?
    enhancement

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

    embeddings-benchmark/mteb#5300 · 1 commento ·

    I maintainer di solito rispondono entro 1 giorno

  • Add dataset: ACM
    Aperta
    • Qualcosa non va?
    new dataset

    Difficoltà 3/5 1-2 giorni Idoneità per principianti 62/100

    embeddings-benchmark/mteb#5299 ·

    I maintainer di solito rispondono entro 1 giorno

  • Beta benchmarks - when is v1?
    Aperta
    • Qualcosa non va?

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100

    embeddings-benchmark/mteb#5292 · 5 commenti · 2 reazioni ·

    I maintainer di solito rispondono entro 1 giorno

  • [MOEB][data audit]Add metric reliability diagnostics for classification benchmarks
    Aperta
    • Qualcosa non va?
    more information needed

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 42/100

    embeddings-benchmark/mteb#5273 · 2 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • [Audit] Measuring frontier saturation in MOEB tasks
    Aperta
    • Qualcosa non va?

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 42/100

    embeddings-benchmark/mteb#5271 · 1 commento ·

    I maintainer di solito rispondono entro 1 giorno

  • Optional EvalPort interop for MTEB task metadata and results
    Aperta
    • Qualcosa non va?

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 38/100

    embeddings-benchmark/mteb#5267 ·

    I maintainer di solito rispondono entro 1 giorno

  • Omnimodal wikipedia
    Aperta
    • Qualcosa non va?
    new model research project

    Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

    embeddings-benchmark/mteb#5254 · 16 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • Dataset Versioning (v2 suffix)
    Aperta
    • Qualcosa non va?
    enhancement

    Difficoltà 5/5 Più di una settimana Idoneità per principianti 32/100

    embeddings-benchmark/mteb#5243 · 1 commento ·

    I maintainer di solito rispondono entro 1 giorno

  • Improve security of MTEB
    Aperta
    • Qualcosa non va?
    enhancement

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 42/100

    embeddings-benchmark/mteb#5236 · 6 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • Ensure dtype is fp32 during vector comparison during evaluation
    Aperta
    • Qualcosa non va?
    enhancement results

    Difficoltà 3/5 1-2 giorni Idoneità per principianti 64/100

    embeddings-benchmark/mteb#5229 · 3 commenti · 1 reazione ·

    I maintainer di solito rispondono entro 1 giorno

  • Some results on the leaderboard are not comparable
    Aperta
    • Qualcosa non va?
    repro results

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

    embeddings-benchmark/mteb#5228 · 8 commenti · 1 reazione ·

    I maintainer di solito rispondono entro 1 giorno

  • [Discussion] Align M-BEIR metrics while preserving historical results
    Aperta
    • Qualcosa non va?

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

    embeddings-benchmark/mteb#5214 · 3 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • Add model: Tianmu-Emb-Uni
    Aperta
    • Qualcosa non va?
    new model

    Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100

    embeddings-benchmark/mteb#5213 · 2 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • Add model: NatureLM-audio
    Aperta
    • Qualcosa non va?
    new model

    Difficoltà 3/5 1-2 giorni Idoneità per principianti 62/100

    embeddings-benchmark/mteb#5212 ·

    I maintainer di solito rispondono entro 1 giorno

  • Should the leaderboard report rank resolution? Most adjacent ranks aren't statistically separable
    Aperta
    • Qualcosa non va?

    Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

    embeddings-benchmark/mteb#5208 · 8 commenti · 1 reazione ·

    I maintainer di solito rispondono entro 1 giorno

Vengono mostrati i 100 più recenti

Questa pagina elenca solo ciò che è stato indicizzato di recente. Il filtro avanzato contiene l'inventario completo, ristretto per linguaggio, difficoltà e durata.

Apri il filtro avanzato

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.