Online dataset mixing based on validation metrics

Đang mở
  • Có gì không ổn?
#200 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
8/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
data

Hướng nghiên cứu

The issue is a design-level request for a blended dataset that reweights its subsets from validation metrics, and the payload names no files, tests or entry points. Start by finding the existing dataset mixing and multi-dataset validation code in the Fast-LLM repository, and check whether the sampling weights are already configurable. The issue has no execution plan or acceptance criteria, so done would first need a written design agreed with the maintainers.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement need update

🎯 Goal (What & Why)

Create a Blended Dataset which can use validation metrics to re-arrange its sampling probabilities of different subsets. This will allow to implement on the fly training data readjustment.

🚀 Execution Plan

TBD

📌 Acceptance Criteria (Must-Haves for Completion)

TBD

🛠️ Project Management

  • Assign the project to the Fast-LLM project.
  • Set the Estimate field (in days) in the GitHub project.
  • Use the Size field to categorize the PR size (Small/Medium/Large).
  • Assign an owner when opening the issue.

Created from @oleksost comments:

Another motivation for implementing multi-dataset validation is online mixing as described in here and here.

Roughly the idea is that if we can track the loss separately on each of the mixed domains, we can dynamically > adopt the mixing coefficients online.

Ngôn ngữ chính
Python
Star
337
Fork
52
Không có pull request nào được merge trong 30 ngày

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của ServiceNow/Fast-LLM

Tất cả issue của ServiceNow/Fast-LLM

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.