Hacktoberfest 2026: die Issues, die Maintainer für den Oktober markiert haben – offen und einsteigerfreundlich. Hacktoberfest-Issues durchsuchen

Owner

embeddings-benchmark

Zum Folgen anmelden

1 indexiertes Repository · Auf GitHub ansehen

Einsteigerfreundlich Alles
Offen Alle

Issues, an denen vielleicht schon jemand arbeitet, stehen am Ende. Alles nach Datum anzeigen

  • Add model: xpmir/Mice-P
    Offen
    • Stimmt etwas nicht?
    new model

    Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 54/100

    embeddings-benchmark/mteb#5798 ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Evaluate models: papr-ai/papr-embed-code-1-4b and 0.6b on private RTEB(Code, beta) tasks
    Offen
    • Stimmt etwas nicht?

    Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 34/100

    embeddings-benchmark/mteb#5782 ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Update `uv.lock` automatically
    Offen
    • Stimmt etwas nicht?

    Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100

    embeddings-benchmark/mteb#5774 ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Make links work with linkedin
    Offen
    • Stimmt etwas nicht?
    enhancement

    Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 64/100

    embeddings-benchmark/mteb#5773 ·

    Maintainer antworten meist innerhalb von 1 Tag

  • get_tasks without tasks= raises on a language+script filter and ignores exclusive_language_filter
    Offen
    • Stimmt etwas nicht?
    needs discussion

    Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100

    embeddings-benchmark/mteb#5768 ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Enhancement: optional all-support@k diagnostics for multi-hop retrieval
    Offen
    • Stimmt etwas nicht?
    enhancement

    Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 38/100

    embeddings-benchmark/mteb#5761 · 5 Kommentare ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Make a graded openness metric that allows partial checks
    Offen
    • Stimmt etwas nicht?
    enhancement needs discussion

    Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100

    embeddings-benchmark/mteb#5745 · 1 Reaktion ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Request training-data provenance review and independent evaluation of Jasper-Token-Compression-600M
    Offen
    • Stimmt etwas nicht?
    repro

    Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 15/100

    embeddings-benchmark/mteb#5733 · 1 Kommentar ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Reconsider default scoring head in fp32
    Offen
    • Stimmt etwas nicht?
    needs discussion

    Schwierigkeit 4/5 1-2 Tage Anfängerfreundlichkeit 35/100

    embeddings-benchmark/mteb#5729 · 1 Kommentar ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Rerun models with generic prompts if they opt in to task-first `prompt_priority`
    Offen
    • Stimmt etwas nicht?

    Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100

    embeddings-benchmark/mteb#5706 ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Handling "looped transformers"
    Offen
    • Stimmt etwas nicht?
    enhancement needs discussion

    Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100

    embeddings-benchmark/mteb#5705 ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Rerun Reranker results after the fp32 scoring-head fix
    Offen
    • Stimmt etwas nicht?

    Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100

    embeddings-benchmark/mteb#5702 · 1 Reaktion ·

    Maintainer antworten meist innerhalb von 1 Tag

  • recompute scores for embedding gemma (v1)
    Offen
    • Stimmt etwas nicht?
    evaluation request

    Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 38/100

    embeddings-benchmark/mteb#5699 ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Merge Vidore v3, v3.1 and reranking
    Offen
    • Stimmt etwas nicht?
    enhancement

    Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 12/100

    embeddings-benchmark/mteb#5681 · 4 Kommentare ·

    Maintainer antworten meist innerhalb von 1 Tag

  • `processor_kwargs={"device": "cuda"}` should not count as an experiment
    Offen
    • Stimmt etwas nicht?
    enhancement needs discussion

    Schwierigkeit 3/5 Ein halber Tag Anfängerfreundlichkeit 45/100

    embeddings-benchmark/mteb#5668 · 7 Kommentare ·

    Maintainer antworten meist innerhalb von 1 Tag

  • refactor benchmarks.py
    Evtl. wieder frei Offen
    • Stimmt etwas nicht?
    enhancement

    Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 22/100

    embeddings-benchmark/mteb#5667 · 2 Kommentare ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Duplicate sib200.v2 results to v3 and change benchmarks to use v3
    Offen
    • Stimmt etwas nicht?
    enhancement results

    Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 42/100

    embeddings-benchmark/mteb#5663 ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Remove WeMM tokenizer workaround after transformers fix
    Offen
    • Stimmt etwas nicht?

    Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 25/100

    embeddings-benchmark/mteb#5650 ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Remove openness n/6 score since 4/6 is not nec. the same as 4/6
    Offen
    • Stimmt etwas nicht?
    enhancement leaderboard

    Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 42/100

    embeddings-benchmark/mteb#5649 · 1 Kommentar ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Support multiple first-stage candidate sets as reranking task subsets
    Offen
    • Stimmt etwas nicht?
    enhancement

    Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 22/100

    embeddings-benchmark/mteb#5648 · 10 Kommentare ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Rerun after changes in output_dtype
    Offen
    • Stimmt etwas nicht?

    Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100

    embeddings-benchmark/mteb#5645 ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Reruns (Stale Results)
    Offen
    • Stimmt etwas nicht?

    Schwierigkeit 3/5 Über eine Woche Anfängerfreundlichkeit 12/100

    embeddings-benchmark/mteb#5622 ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Add dataset: STEB
    Offen
    • Stimmt etwas nicht?
    new dataset

    Schwierigkeit 3/5 Ein halber Tag Anfängerfreundlichkeit 65/100

    embeddings-benchmark/mteb#5591 · 1 Reaktion ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Improve model coverage of top-tier models
    Offen
    • Stimmt etwas nicht?
    enhancement evaluation request

    Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 42/100

    embeddings-benchmark/mteb#5589 · 1 Kommentar ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Add GPU to CI tests suite
    Offen
    • Stimmt etwas nicht?
    enhancement

    Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 30/100

    embeddings-benchmark/mteb#5587 ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Speed up imports with (pseudo) lazy imports
    Offen
    • Stimmt etwas nicht?
    enhancement needs discussion

    Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 68/100

    embeddings-benchmark/mteb#5586 · 5 Kommentare ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Add "news" to the leaderboard
    Offen
    • Stimmt etwas nicht?
    enhancement leaderboard

    Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 52/100

    embeddings-benchmark/mteb#5562 · 5 Kommentare ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Add dataset: ProCQA C answer retrieval
    Offen
    • Stimmt etwas nicht?
    new dataset

    Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100

    embeddings-benchmark/mteb#5541 ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Add model: Ovis-Embedding
    Offen
    • Stimmt etwas nicht?
    new model

    Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 68/100

    embeddings-benchmark/mteb#5538 · 3 Kommentare ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Add dataset: INSPIRE A Benchmark for Instruction-Aware Speech Retrieval
    Offen
    • Stimmt etwas nicht?
    audio new dataset

    Schwierigkeit 3/5 Ein halber Tag Anfängerfreundlichkeit 66/100

    embeddings-benchmark/mteb#5530 ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Figure out a better system for handling versioned benchmarks and tasks
    Offen
    • Stimmt etwas nicht?
    enhancement leaderboard needs discussion

    Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 30/100

    embeddings-benchmark/mteb#5527 · 2 Kommentare ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Consider approach for removing models
    Offen
    • Stimmt etwas nicht?

    Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 30/100

    embeddings-benchmark/mteb#5525 · 3 Kommentare ·

    Maintainer antworten meist innerhalb von 1 Tag

  • request: Add docker container for running mteb evaluation
    Offen
    • Stimmt etwas nicht?
    enhancement needs discussion

    Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100

    embeddings-benchmark/mteb#5523 · 2 Kommentare ·

    Maintainer antworten meist innerhalb von 1 Tag

  • [Feature Request] Benchmark Jev-style structured judgments in MTEB
    Offen
    • Stimmt etwas nicht?
    enhancement

    Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100

    embeddings-benchmark/mteb#5505 · 4 Kommentare · 1 Reaktion ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Multilabel classification: the 2000-row test cap never applies (stratify_by_column fails on List labels)
    Offen
    • Stimmt etwas nicht?

    Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100

    embeddings-benchmark/mteb#5504 · 2 Kommentare ·

    Maintainer antworten meist innerhalb von 1 Tag

  • [MOEB data audit]ImageCoDe / ImageCoDeT2IRetrieval: scrambled image indices cause incorrect labels
    Offen
    • Stimmt etwas nicht?

    Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 64/100

    embeddings-benchmark/mteb#5499 · 2 Kommentare ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Add citation validation
    Offen
    • Stimmt etwas nicht?
    enhancement

    Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 65/100

    embeddings-benchmark/mteb#5471 · 13 Kommentare ·

    Maintainer antworten meist innerhalb von 1 Tag

  • How should we handle audio longer than a model can process?
    Offen
    • Stimmt etwas nicht?

    Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100

    embeddings-benchmark/mteb#5460 · 17 Kommentare · 3 Reaktionen ·

    Maintainer antworten meist innerhalb von 1 Tag

  • [Dataset] SpokenCOCO Audio-to-(Image+Text) Retrieval (A2IT)
    Offen
    • Stimmt etwas nicht?
    new dataset

    Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 72/100

    embeddings-benchmark/mteb#5431 ·

    Maintainer antworten meist innerhalb von 1 Tag

  • [Dataset] GOT-10k Image↔Video Retrieval (I2V / V2I)
    Offen
    • Stimmt etwas nicht?
    new dataset

    Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 58/100

    embeddings-benchmark/mteb#5429 ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Quality Concerns in 11 MMTEB Datasets
    Offen
    • Stimmt etwas nicht?
    Decision

    Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 50/100

    embeddings-benchmark/mteb#5416 · 16 Kommentare · 2 Reaktionen ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Add dataset: MusicA2VRetrieval & MusicV2ARetrieval (audio ↔ video)
    Offen
    • Stimmt etwas nicht?
    new dataset

    Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 62/100

    embeddings-benchmark/mteb#5411 ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Leaderboard: add option to view all by organization
    Offen
    • Stimmt etwas nicht?
    leaderboard

    Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 62/100

    embeddings-benchmark/mteb#5407 · 6 Kommentare ·

    Maintainer antworten meist innerhalb von 1 Tag

  • Add model: NeoMME
    Offen
    • Stimmt etwas nicht?
    new model

    Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100

    embeddings-benchmark/mteb#5375 · 2 Kommentare ·

    Maintainer antworten meist innerhalb von 1 Tag

  • MOEB [Paper Experiment] - Latent Dimensions
    Offen
    • Stimmt etwas nicht?

    Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100

    embeddings-benchmark/mteb#5367 · 1 Kommentar ·

    Maintainer antworten meist innerhalb von 1 Tag

  • MOEB [Paper Experiment] - Prompt Sensitivity
    Evtl. wieder frei Offen
    • Stimmt etwas nicht?

    embeddings-benchmark/mteb#5363 · 3 Kommentare · 1 zugewiesene Person ·

    Maintainer antworten meist innerhalb von 1 Tag

  • MOEB [Paper Experiment] - Sampling Budget
    Offen
    • Stimmt etwas nicht?

    Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100

    embeddings-benchmark/mteb#5362 · 7 Kommentare ·

    Maintainer antworten meist innerhalb von 1 Tag

  • MOEB [Paper Experiment] - Omni vs Specialist models
    Offen
    • Stimmt etwas nicht?

    Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 48/100

    embeddings-benchmark/mteb#5361 · 4 Kommentare ·

    Maintainer antworten meist innerhalb von 1 Tag

  • MOEB [Paper Experiment] - Directional Asymmentry
    Offen
    • Stimmt etwas nicht?

    Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100

    embeddings-benchmark/mteb#5360 · 1 Kommentar ·

    Maintainer antworten meist innerhalb von 1 Tag

  • MOEB [Paper Experiment] - Modality Gap in Omni-Models
    Offen
    • Stimmt etwas nicht?

    Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 32/100

    embeddings-benchmark/mteb#5359 · 1 Kommentar ·

    Maintainer antworten meist innerhalb von 1 Tag

Die neuesten 100 werden angezeigt

Diese Seite listet nur das zuletzt Erfasste. Der vollständige Bestand steht im erweiterten Filter, eingegrenzt nach Sprache, Schwierigkeit und Aufwand.

Erweiterten Filter öffnen

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.