Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

[doc] Document the data machinery

Đang mở
  • Có gì không ổn?
#124 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
22/100
Loại issue
Tài liệu
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
data, documentation

Hướng nghiên cứu

The payload names no files, only the Data class and the changes in #37, #40 and #104, so start by reading those pull requests and the existing docs to find where the dataset machinery is described. Work through the checklist in the issue: dataset types, the GPT and generic dataset classes, how Data assembles them, and the existing prepare recipe. Done means a doc section covers each item, with a working example for the gpt_custom extension case.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

documentation

We need to document the new dataa mechanism, introduced in #37, #40, #104, etc.

The doc should at least describe:

  • The different types of datasets (samplable, sampled, indexed, etc.)
  • The different dataset classes available for GPT, and generic ones.
  • The dynamic dataset class instantiation mechanism (to move elsewhere if/once we generalize)
  • How datasets are put together in Data
  • Maybe also the dataset preparation mechanism.

It should let the user know how to:

  • Prepare a dataset with the prepare command (recipe is already in the doc, might just need to point to it)
  • Configure Fast-LLM for typical dataset use cases (ex. dataset in multiple files, train/valid/test split, blending multiple datasets, etc.)
  • Extend GPT with a custom configurable dataset class
  • Extend GPT data and/or datasets for a custom model (ex. gpt_custom)
  • (Advanced, can be postponed) Create a data and dataset for a custom model that doesn't extend GPT, reusing the existing generic machinery. (Need to generalize dynamic configuration first)
  • (Can be postponed) Create a custom data that doesn't reuse the dataset machinery. Easy but not sure how much we need it.
Ngôn ngữ chính
Python
Star
337
Fork
52
Không có pull request nào được merge trong 30 ngày

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của ServiceNow/Fast-LLM

Tất cả issue của ServiceNow/Fast-LLM

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.