Add GEM MLSum to Full Benchmark

Đánh giá

Issue này chưa được đánh giá.

Mô tả

Chuẩn bị môi trường

Bắt đầu từ đâu

1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
3. Fork repository và làm thay đổi trên một nhánh.
4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của bigscience-workshop/evaluation

• Add MKQA to Full Benchmark

  Đang mở

  ⋯Báo cáo vấn đề với issue này

  • Có gì không ổn?

  • Đã có người nhận
  • Không phù hợp cho người mới
  • Đã cũ hoặc không hợp lệ
  • Vấn đề khác…
  • Gửi Hủy

  Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

  bigscience-workshop/evaluation#73 · Mở ngày 7/2/2022

• Refactor task template to merge multilingual.json and english.json

  Có thể làm lại được @wilsonyhlee đã nhận 1870 ngày trước và không có pull request nào đang mở. Đang mở

  ⋯Báo cáo vấn đề với issue này

  • Có gì không ổn?

  • Đã có người nhận
  • Không phù hợp cho người mới
  • Đã cũ hoặc không hợp lệ
  • Vấn đề khác…
  • Gửi Hủy

  bigscience-workshop/evaluation#64 · 1 người được giao · Mở ngày 2/9/2021

• Wrap evaluation benchmark using HF-trainer

  Đang mở

  ⋯Báo cáo vấn đề với issue này

  • Có gì không ổn?

  • Đã có người nhận
  • Không phù hợp cho người mới
  • Đã cũ hoặc không hợp lệ
  • Vấn đề khác…
  • Gửi Hủy

  Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100

  bigscience-workshop/evaluation#61 · 2 bình luận · 3 reaction · Mở ngày 25/8/2021

• Setup testing

  Có thể làm lại được @tttyuntian đã nhận 1885 ngày trước và không có pull request nào đang mở. Đang mở

  ⋯Báo cáo vấn đề với issue này

  • Có gì không ổn?

  • Đã có người nhận
  • Không phù hợp cho người mới
  • Đã cũ hoặc không hợp lệ
  • Vấn đề khác…
  • Gửi Hủy
  engineering

  bigscience-workshop/evaluation#57 · 2 bình luận · 3 người được giao · Mở ngày 19/8/2021

• Start overleaf for benchmark tech report

  Có thể làm lại được @arunraja-hub đã nhận 1881 ngày trước và không có pull request nào đang mở. Đang mở

  ⋯Báo cáo vấn đề với issue này

  • Có gì không ổn?

  • Đã có người nhận
  • Không phù hợp cho người mới
  • Đã cũ hoặc không hợp lệ
  • Vấn đề khác…
  • Gửi Hủy
  documentation

  bigscience-workshop/evaluation#54 · 1 bình luận · 3 reaction · 2 người được giao · Mở ngày 16/8/2021

Tất cả issue của bigscience-workshop/evaluation

Issue tương tự

• profiler-md categorizes site-packages and stdlib frames as "Ours" in inputs from the python help's py-spy collapsed commands

  Đang mở

  ⋯Báo cáo vấn đề với issue này

  • Có gì không ổn?

  • Đã có người nhận
  • Không phù hợp cho người mới
  • Đã cũ hoặc không hợp lệ
  • Vấn đề khác…
  • Gửi Hủy

  Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 77/100

  TomerAberbach/profiler-md#733 · Mở ngày 17/10/2026

  Maintainer thường phản hồi trong vòng 1 ngày

• [VW EU] Setup fails with ImportError on HA < 2026.6: repairs.py imports RepairsFlowResult (hacs.json still says 2024.4.0)

  Đang mở

  ⋯Báo cáo vấn đề với issue này

  • Có gì không ổn?

  • Đã có người nhận
  • Không phù hợp cho người mới
  • Đã cũ hoặc không hợp lệ
  • Vấn đề khác…
  • Gửi Hủy

  Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100

  its-me-prash/vwgroup-connect-ha#1858 · Mở ngày 17/10/2026

  Maintainer thường phản hồi trong vòng 1 ngày

• Tests: test_tui_sent_private_messages_and_full_screen is flaky on Windows

  Đang mở

  ⋯Báo cáo vấn đề với issue này

  • Có gì không ổn?

  • Đã có người nhận
  • Không phù hợp cho người mới
  • Đã cũ hoặc không hợp lệ
  • Vấn đề khác…
  • Gửi Hủy
  area: client bug

  Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100

  unseenet/unseenet#137 · Mở ngày 17/10/2026

  Maintainer thường phản hồi trong vòng 1 ngày

• Deleting all alarms or timers shows deleted ones until the next update when there are none left

  Đang mở

  ⋯Báo cáo vấn đề với issue này

  • Có gì không ổn?

  • Đã có người nhận
  • Không phù hợp cho người mới
  • Đã cũ hoặc không hợp lệ
  • Vấn đề khác…
  • Gửi Hủy
  bug

  Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100

  leikoilja/ha-google-home#1107 · Mở ngày 17/10/2026

  Maintainer thường phản hồi trong vòng 1 ngày

• [Bug]: graphify tree ignores the repo tag on merged graphs: no per-repo roots, and identical relative paths from different repos collapse together

  Đang mở

  ⋯Báo cáo vấn đề với issue này

  • Có gì không ổn?

  • Đã có người nhận
  • Không phù hợp cho người mới
  • Đã cũ hoặc không hợp lệ
  • Vấn đề khác…
  • Gửi Hủy
  bug

  Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100

  Graphify-Labs/graphify#4524 · 1 bình luận · Mở ngày 17/10/2026

  Maintainer thường phản hồi trong vòng 1 ngày

Thêm issue về Python