Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Chủ sở hữu

embeddings-benchmark

Đăng nhập để theo dõi

Đã lập chỉ mục 1 kho mã nguồn · Xem trên GitHub

Phù hợp cho người mới Tất cả
Đang mở Tất cả

Các issue có thể đã có người làm được xếp cuối danh sách. Sắp xếp tất cả theo ngày

  • Add dataset: STEB
    Đang mở
    • Có gì không ổn?
    new dataset

    Độ khó 3/5 Nửa ngày Mức phù hợp với người mới 65/100

    embeddings-benchmark/mteb#5591 · 1 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Remove duplicate openness information from the model card
    Đang mở
    • Có gì không ổn?
    enhancement leaderboard

    Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100

    embeddings-benchmark/mteb#5590 · 3 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Improve model coverage of top-tier models
    Đang mở
    • Có gì không ổn?
    enhancement evaluation request

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 42/100

    embeddings-benchmark/mteb#5589 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Add GPU to CI tests suite
    Đang mở
    • Có gì không ổn?
    enhancement

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100

    embeddings-benchmark/mteb#5587 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Speed up imports with (pseudo) lazy imports
    Đang mở
    • Có gì không ổn?
    enhancement needs discussion

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 68/100

    embeddings-benchmark/mteb#5586 · 5 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Add index backend for sparse and multivector models
    Đang mở
    • Có gì không ổn?
    enhancement

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 42/100

    embeddings-benchmark/mteb#5568 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Rewrite "run leaderboard" section
    Đang mở
    • Có gì không ổn?
    documentation needs discussion

    Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 72/100

    embeddings-benchmark/mteb#5566 · 1 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Add "news" to the leaderboard
    Đang mở
    • Có gì không ổn?
    enhancement leaderboard

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 52/100

    embeddings-benchmark/mteb#5562 · 5 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Add dataset: ProCQA C answer retrieval
    Đang mở
    • Có gì không ổn?
    new dataset

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

    embeddings-benchmark/mteb#5541 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Add model: Ovis-Embedding
    Đang mở
    • Có gì không ổn?
    new model

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 68/100

    embeddings-benchmark/mteb#5538 · 3 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Add dataset: INSPIRE A Benchmark for Instruction-Aware Speech Retrieval
    Đang mở
    • Có gì không ổn?
    audio new dataset

    Độ khó 3/5 Nửa ngày Mức phù hợp với người mới 66/100

    embeddings-benchmark/mteb#5530 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Merge `Zero-shot classification` with `retrieval` tasks
    Đang mở
    • Có gì không ổn?
    ready for implementation

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 52/100

    embeddings-benchmark/mteb#5529 · 7 bình luận · 2 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Figure out a better system for handling versioned benchmarks and tasks
    Đang mở
    • Có gì không ổn?
    enhancement leaderboard needs discussion

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100

    embeddings-benchmark/mteb#5527 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Consider approach for removing models
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100

    embeddings-benchmark/mteb#5525 · 2 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • request: Add docker container for running mteb evaluation
    Đang mở
    • Có gì không ổn?
    enhancement needs discussion

    Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100

    embeddings-benchmark/mteb#5523 · 2 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Reference Model Coverage Tests fail: missing MTEB(slk, v1) results for reference models
    Đang mở
    • Có gì không ổn?
    evaluation request

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100

    embeddings-benchmark/mteb#5508 · 5 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • [Feature Request] Benchmark Jev-style structured judgments in MTEB
    Đang mở
    • Có gì không ổn?
    enhancement

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100

    embeddings-benchmark/mteb#5505 · 4 bình luận · 1 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • [MOEB data audit]ImageCoDe / ImageCoDeT2IRetrieval: scrambled image indices cause incorrect labels
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 64/100

    embeddings-benchmark/mteb#5499 · 2 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • reduce time to create `uv.lock`
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 58/100

    embeddings-benchmark/mteb#5482 · 10 bình luận · 2 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Add citation validation
    Đang mở
    • Có gì không ổn?
    enhancement

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 65/100

    embeddings-benchmark/mteb#5471 · 13 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • How should we handle audio longer than a model can process?
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

    embeddings-benchmark/mteb#5460 · 17 bình luận · 3 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • [Dataset] SpokenCOCO Audio-to-(Image+Text) Retrieval (A2IT)
    Đang mở
    • Có gì không ổn?
    new dataset

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 72/100

    embeddings-benchmark/mteb#5431 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Quality Concerns in 11 MMTEB Datasets
    Đang mở
    • Có gì không ổn?
    Decision

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 50/100

    embeddings-benchmark/mteb#5416 · 10 bình luận · 2 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Add dataset: MusicA2VRetrieval & MusicV2ARetrieval (audio ↔ video)
    Đang mở
    • Có gì không ổn?
    new dataset

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 62/100

    embeddings-benchmark/mteb#5411 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Leaderboard: add option to view all by organization
    Đang mở
    • Có gì không ổn?
    leaderboard

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 62/100

    embeddings-benchmark/mteb#5407 · 6 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Add model: NeoMME
    Đang mở
    • Có gì không ổn?
    new model

    Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100

    embeddings-benchmark/mteb#5375 · 2 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • MOEB [Paper Experiment] - Latent Dimensions
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100

    embeddings-benchmark/mteb#5367 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • MOEB [Paper Experiment] - Prompt Sensitivity
    Có thể làm lại được Đang mở
    • Có gì không ổn?

    embeddings-benchmark/mteb#5363 · 3 bình luận · 1 người được giao ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • MOEB [Paper Experiment] - Sampling Budget
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

    embeddings-benchmark/mteb#5362 · 7 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • MOEB [Paper Experiment] - Omni vs Specialist models
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100

    embeddings-benchmark/mteb#5361 · 4 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • MOEB [Paper Experiment] - Directional Asymmentry
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

    embeddings-benchmark/mteb#5360 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • MOEB [Paper Experiment] - Modality Gap in Omni-Models
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 32/100

    embeddings-benchmark/mteb#5359 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Consider not accepting datasets with unclear licenses
    Đang mở
    • Có gì không ổn?
    needs discussion

    Độ khó 4/5 Hơn một tuần Mức phù hợp với người mới 25/100

    embeddings-benchmark/mteb#5348 · 2 bình luận · 1 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Single-pass retrieval scores cannot distinguish models that diverge under iteration
    Đang mở
    • Có gì không ổn?

    Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 48/100

    embeddings-benchmark/mteb#5330 · 2 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Add dataset: MLIR
    Đang mở
    • Có gì không ổn?
    new dataset

    Độ khó 3/5 Nửa ngày Mức phù hợp với người mới 65/100

    embeddings-benchmark/mteb#5311 · 1 bình luận · 3 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Make possible to customize model type during evaluation
    Có thể làm lại được Đang mở
    • Có gì không ổn?
    enhancement

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100

    embeddings-benchmark/mteb#5300 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Add dataset: ACM
    Đang mở
    • Có gì không ổn?
    new dataset

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 62/100

    embeddings-benchmark/mteb#5299 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Beta benchmarks - when is v1?
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100

    embeddings-benchmark/mteb#5292 · 5 bình luận · 2 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • [MOEB][data audit]Add metric reliability diagnostics for classification benchmarks
    Đang mở
    • Có gì không ổn?
    more information needed

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 42/100

    embeddings-benchmark/mteb#5273 · 2 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • [Audit] Measuring frontier saturation in MOEB tasks
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 42/100

    embeddings-benchmark/mteb#5271 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Optional EvalPort interop for MTEB task metadata and results
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 38/100

    embeddings-benchmark/mteb#5267 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Omnimodal wikipedia
    Đang mở
    • Có gì không ổn?
    new model research project

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

    embeddings-benchmark/mteb#5254 · 16 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Dataset Versioning (v2 suffix)
    Đang mở
    • Có gì không ổn?
    enhancement

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 32/100

    embeddings-benchmark/mteb#5243 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Improve security of MTEB
    Đang mở
    • Có gì không ổn?
    enhancement

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 42/100

    embeddings-benchmark/mteb#5236 · 6 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Ensure dtype is fp32 during vector comparison during evaluation
    Đang mở
    • Có gì không ổn?
    enhancement results

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 64/100

    embeddings-benchmark/mteb#5229 · 3 bình luận · 1 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Some results on the leaderboard are not comparable
    Đang mở
    • Có gì không ổn?
    repro results

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100

    embeddings-benchmark/mteb#5228 · 8 bình luận · 1 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • [Discussion] Align M-BEIR metrics while preserving historical results
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

    embeddings-benchmark/mteb#5214 · 3 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Add model: Tianmu-Emb-Uni
    Đang mở
    • Có gì không ổn?
    new model

    Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100

    embeddings-benchmark/mteb#5213 · 2 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Add model: NatureLM-audio
    Đang mở
    • Có gì không ổn?
    new model

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 62/100

    embeddings-benchmark/mteb#5212 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Should the leaderboard report rank resolution? Most adjacent ranks aren't statistically separable
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

    embeddings-benchmark/mteb#5208 · 8 bình luận · 1 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

Đang hiển thị 100 mục mới nhất

Trang này chỉ liệt kê những gì được lập chỉ mục gần đây. Bộ lọc nâng cao có toàn bộ kho, thu hẹp theo ngôn ngữ, độ khó và thời lượng.

Mở bộ lọc nâng cao

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.