Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Proprietario

embeddings-benchmark

Accedi per seguire

1 repository indicizzato · Vedi su GitHub

Adatte ai principianti Tutto
Aperta Tutte

Le issue su cui forse qualcuno sta già lavorando sono in fondo alla lista. Ordina tutto per data

  • Add dataset: STEB
    Aperta
    • Qualcosa non va?
    new dataset

    Difficoltà 3/5 Mezza giornata Idoneità per principianti 65/100

    embeddings-benchmark/mteb#5591 · 1 reazione ·

    I maintainer di solito rispondono entro 1 giorno

  • Remove duplicate openness information from the model card
    Aperta
    • Qualcosa non va?
    enhancement leaderboard

    Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100

    embeddings-benchmark/mteb#5590 · 3 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • Improve model coverage of top-tier models
    Aperta
    • Qualcosa non va?
    enhancement evaluation request

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 42/100

    embeddings-benchmark/mteb#5589 ·

    I maintainer di solito rispondono entro 1 giorno

  • Add GPU to CI tests suite
    Aperta
    • Qualcosa non va?
    enhancement

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100

    embeddings-benchmark/mteb#5587 ·

    I maintainer di solito rispondono entro 1 giorno

  • Speed up imports with (pseudo) lazy imports
    Aperta
    • Qualcosa non va?
    enhancement needs discussion

    Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100

    embeddings-benchmark/mteb#5586 · 5 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • Add index backend for sparse and multivector models
    Aperta
    • Qualcosa non va?
    enhancement

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 42/100

    embeddings-benchmark/mteb#5568 ·

    I maintainer di solito rispondono entro 1 giorno

  • Rewrite "run leaderboard" section
    Aperta
    • Qualcosa non va?
    documentation needs discussion

    Difficoltà 1/5 Meno di un'ora Idoneità per principianti 72/100

    embeddings-benchmark/mteb#5566 · 1 reazione ·

    I maintainer di solito rispondono entro 1 giorno

  • Add "news" to the leaderboard
    Aperta
    • Qualcosa non va?
    enhancement leaderboard

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 52/100

    embeddings-benchmark/mteb#5562 · 5 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • Add dataset: ProCQA C answer retrieval
    Aperta
    • Qualcosa non va?
    new dataset

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

    embeddings-benchmark/mteb#5541 ·

    I maintainer di solito rispondono entro 1 giorno

  • Add model: Ovis-Embedding
    Aperta
    • Qualcosa non va?
    new model

    Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100

    embeddings-benchmark/mteb#5538 · 3 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • Add dataset: TurkishRAGEvalRetrieval (Turkish health passage retrieval)
    Aperta
    • Qualcosa non va?
    new dataset

    Difficoltà 3/5 Mezza giornata Idoneità per principianti 62/100

    embeddings-benchmark/mteb#5536 ·

    I maintainer di solito rispondono entro 1 giorno

  • Add dataset: INSPIRE A Benchmark for Instruction-Aware Speech Retrieval
    Aperta
    • Qualcosa non va?
    audio new dataset

    Difficoltà 3/5 Mezza giornata Idoneità per principianti 66/100

    embeddings-benchmark/mteb#5530 ·

    I maintainer di solito rispondono entro 1 giorno

  • Merge `Zero-shot classification` with `retrieval` tasks
    Aperta
    • Qualcosa non va?
    ready for implementation

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 52/100

    embeddings-benchmark/mteb#5529 · 7 commenti · 2 reazioni ·

    I maintainer di solito rispondono entro 1 giorno

  • Figure out a better system for handling versioned benchmarks and tasks
    Aperta
    • Qualcosa non va?
    enhancement leaderboard needs discussion

    Difficoltà 5/5 Più di una settimana Idoneità per principianti 30/100

    embeddings-benchmark/mteb#5527 · 1 commento ·

    I maintainer di solito rispondono entro 1 giorno

  • Consider approach for removing models
    Aperta
    • Qualcosa non va?

    Difficoltà 5/5 Più di una settimana Idoneità per principianti 30/100

    embeddings-benchmark/mteb#5525 · 2 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • request: Add docker container for running mteb evaluation
    Aperta
    • Qualcosa non va?
    enhancement needs discussion

    Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100

    embeddings-benchmark/mteb#5523 · 2 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • Reference Model Coverage Tests fail: missing MTEB(slk, v1) results for reference models
    Aperta
    • Qualcosa non va?
    evaluation request

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

    embeddings-benchmark/mteb#5508 · 5 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • [Feature Request] Benchmark Jev-style structured judgments in MTEB
    Aperta
    • Qualcosa non va?
    enhancement

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

    embeddings-benchmark/mteb#5505 · 4 commenti · 1 reazione ·

    I maintainer di solito rispondono entro 1 giorno

  • Multilabel classification: the 2000-row test cap never applies (stratify_by_column fails on List labels)
    Aperta
    • Qualcosa non va?

    Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100

    embeddings-benchmark/mteb#5504 · 2 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • [MOEB data audit]ImageCoDe / ImageCoDeT2IRetrieval: scrambled image indices cause incorrect labels
    Aperta
    • Qualcosa non va?

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 64/100

    embeddings-benchmark/mteb#5499 · 2 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • reduce time to create `uv.lock`
    Aperta
    • Qualcosa non va?

    Difficoltà 3/5 1-2 giorni Idoneità per principianti 58/100

    embeddings-benchmark/mteb#5482 · 10 commenti · 2 reazioni ·

    I maintainer di solito rispondono entro 1 giorno

  • Add citation validation
    Aperta
    • Qualcosa non va?
    enhancement

    Difficoltà 3/5 1-2 giorni Idoneità per principianti 65/100

    embeddings-benchmark/mteb#5471 · 13 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • How should we handle audio longer than a model can process?
    Aperta
    • Qualcosa non va?

    Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

    embeddings-benchmark/mteb#5460 · 17 commenti · 3 reazioni ·

    I maintainer di solito rispondono entro 1 giorno

  • [Dataset] SpokenCOCO Audio-to-(Image+Text) Retrieval (A2IT)
    Aperta
    • Qualcosa non va?
    new dataset

    Difficoltà 3/5 1-2 giorni Idoneità per principianti 72/100

    embeddings-benchmark/mteb#5431 ·

    I maintainer di solito rispondono entro 1 giorno

  • [Dataset] GOT-10k Image↔Video Retrieval (I2V / V2I)
    Aperta
    • Qualcosa non va?
    new dataset

    Difficoltà 3/5 1-2 giorni Idoneità per principianti 58/100

    embeddings-benchmark/mteb#5429 ·

    I maintainer di solito rispondono entro 1 giorno

  • Quality Concerns in 11 MMTEB Datasets
    Aperta
    • Qualcosa non va?
    Decision

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 50/100

    embeddings-benchmark/mteb#5416 · 10 commenti · 2 reazioni ·

    I maintainer di solito rispondono entro 1 giorno

  • Add dataset: MusicA2VRetrieval & MusicV2ARetrieval (audio ↔ video)
    Aperta
    • Qualcosa non va?
    new dataset

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 62/100

    embeddings-benchmark/mteb#5411 ·

    I maintainer di solito rispondono entro 1 giorno

  • Leaderboard: add option to view all by dev
    Aperta
    • Qualcosa non va?
    leaderboard

    Difficoltà 3/5 1-2 giorni Idoneità per principianti 62/100

    embeddings-benchmark/mteb#5407 · 6 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • Add model: NeoMME
    Aperta
    • Qualcosa non va?
    new model

    Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100

    embeddings-benchmark/mteb#5375 · 2 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • MOEB [Paper Experiment] - Latent Dimensions
    Aperta
    • Qualcosa non va?

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

    embeddings-benchmark/mteb#5367 · 1 commento ·

    I maintainer di solito rispondono entro 1 giorno

  • MOEB [Paper Experiment] - Prompt Sensitivity
    Forse di nuovo libera Aperta
    • Qualcosa non va?

    embeddings-benchmark/mteb#5363 · 3 commenti · 1 assegnatario ·

    I maintainer di solito rispondono entro 1 giorno

  • MOEB [Paper Experiment] - Sampling Budget
    Aperta
    • Qualcosa non va?

    Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

    embeddings-benchmark/mteb#5362 · 7 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • MOEB [Paper Experiment] - Omni vs Specialist models
    Aperta
    • Qualcosa non va?

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

    embeddings-benchmark/mteb#5361 · 4 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • MOEB [Paper Experiment] - Directional Asymmentry
    Aperta
    • Qualcosa non va?

    Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

    embeddings-benchmark/mteb#5360 · 1 commento ·

    I maintainer di solito rispondono entro 1 giorno

  • MOEB [Paper Experiment] - Modality Gap in Omni-Models
    Aperta
    • Qualcosa non va?

    Difficoltà 5/5 Più di una settimana Idoneità per principianti 32/100

    embeddings-benchmark/mteb#5359 · 1 commento ·

    I maintainer di solito rispondono entro 1 giorno

  • Consider not accepting datasets with unclear licenses
    Aperta
    • Qualcosa non va?
    needs discussion

    Difficoltà 4/5 Più di una settimana Idoneità per principianti 25/100

    embeddings-benchmark/mteb#5348 · 2 commenti · 1 reazione ·

    I maintainer di solito rispondono entro 1 giorno

  • Single-pass retrieval scores cannot distinguish models that diverge under iteration
    Aperta
    • Qualcosa non va?

    Difficoltà 2/5 1-3 ore Idoneità per principianti 48/100

    embeddings-benchmark/mteb#5330 · 2 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • Add dataset: MLIR
    Aperta
    • Qualcosa non va?
    new dataset

    Difficoltà 3/5 Mezza giornata Idoneità per principianti 65/100

    embeddings-benchmark/mteb#5311 · 1 commento · 3 reazioni ·

    I maintainer di solito rispondono entro 1 giorno

  • Make possible to customize model type during evaluation
    Forse di nuovo libera Aperta
    • Qualcosa non va?
    enhancement

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

    embeddings-benchmark/mteb#5300 · 1 commento ·

    I maintainer di solito rispondono entro 1 giorno

  • Add dataset: ACM
    Aperta
    • Qualcosa non va?
    new dataset

    Difficoltà 3/5 1-2 giorni Idoneità per principianti 62/100

    embeddings-benchmark/mteb#5299 ·

    I maintainer di solito rispondono entro 1 giorno

  • Beta benchmarks - when is v1?
    Aperta
    • Qualcosa non va?

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100

    embeddings-benchmark/mteb#5292 · 5 commenti · 2 reazioni ·

    I maintainer di solito rispondono entro 1 giorno

  • [MOEB][data audit]Add metric reliability diagnostics for classification benchmarks
    Aperta
    • Qualcosa non va?
    more information needed

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 42/100

    embeddings-benchmark/mteb#5273 · 2 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • [Audit] Measuring frontier saturation in MOEB tasks
    Aperta
    • Qualcosa non va?

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 42/100

    embeddings-benchmark/mteb#5271 · 1 commento ·

    I maintainer di solito rispondono entro 1 giorno

  • Optional EvalPort interop for MTEB task metadata and results
    Aperta
    • Qualcosa non va?

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 38/100

    embeddings-benchmark/mteb#5267 ·

    I maintainer di solito rispondono entro 1 giorno

  • Omnimodal wikipedia
    Aperta
    • Qualcosa non va?
    new model research project

    Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

    embeddings-benchmark/mteb#5254 · 16 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • Dataset Versioning (v2 suffix)
    Aperta
    • Qualcosa non va?
    enhancement

    Difficoltà 5/5 Più di una settimana Idoneità per principianti 32/100

    embeddings-benchmark/mteb#5243 · 1 commento ·

    I maintainer di solito rispondono entro 1 giorno

  • Improve security of MTEB
    Aperta
    • Qualcosa non va?
    enhancement

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 42/100

    embeddings-benchmark/mteb#5236 · 6 commenti ·

    I maintainer di solito rispondono entro 1 giorno

  • Ensure dtype is fp32 during vector comparison during evaluation
    Aperta
    • Qualcosa non va?
    enhancement results

    Difficoltà 3/5 1-2 giorni Idoneità per principianti 64/100

    embeddings-benchmark/mteb#5229 · 3 commenti · 1 reazione ·

    I maintainer di solito rispondono entro 1 giorno

  • Some results on the leaderboard are not comparable
    Aperta
    • Qualcosa non va?
    repro results

    Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

    embeddings-benchmark/mteb#5228 · 8 commenti · 1 reazione ·

    I maintainer di solito rispondono entro 1 giorno

Vengono mostrati i 100 più recenti

Questa pagina elenca solo ciò che è stato indicizzato di recente. Il filtro avanzato contiene l'inventario completo, ristretto per linguaggio, difficoltà e durata.

Apri il filtro avanzato

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.