Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Batch-level error rates for early shutdown

Đang mở
  • Có gì không ổn?
#211 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
45/100
Loại issue
Tái cấu trúc
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Ít trao đổi
Công nghệ
python
Lĩnh vực
backend, data-engineering

Hướng nghiên cứu

Bắt đầu bằng cách lần theo việc xử lý tỷ lệ lỗi khi tắt sớm thông qua ConcurrentThreadExecutor và phần điều phối batch xung quanh. Xác định nơi xử lý việc hoàn tất batch và kích thước batch có thể điều chỉnh, sau đó chuyển phép tính lên cấp batch để các generator không đồng thời có thể sử dụng nó. Được xem là hoàn tất khi tỷ lệ lỗi ổn định theo từng batch và việc tắt sớm chờ ít nhất một batch hoàn tất; thêm hoặc cập nhật các kiểm thử liên quan được tìm thấy trong quá trình lần theo đó.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

bug enhancement on-roadmap
Priority Level

Medium

Task Summary

Our error-rate calculation for early shutdown in the ConcurrentThreadExecutor attempts to calculate error rates more or less in real time. This can lead to massive overestimates of the error rate, particularly for jobs with high concurrency, since jobs can fail faster than they succeed.

The proposal of this issue is to instead calculate error rates at the batch level (i.e., outside of ConcurrentThreadExecutor).

A couple benefits of this approach:

  • The batch-level error rate will be a much more stable measurement at a consistent scale across jobs.
  • This will allow the early-shutdown mechanism to be applied to generators that do not support concurrency.

One downside is that you always have to wait for at least one batch to complete. This seems acceptable given that the batch size is adjustable and (for cases where this all matters) will generally be much smaller than the target number of records.

Ngôn ngữ chính
Python
Star
2.3k
Fork
211
Merge trung bình
3 ngày 12 giờ
Pull request đã merge (30 ngày)
45

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của NVIDIA-NeMo/DataDesigner

Tất cả issue của NVIDIA-NeMo/DataDesigner

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.