[doc] Document the data machinery
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 22/100
- Tipo di issue
- Documentazione
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- data, documentation
Direzione di ricerca
The payload names no files, only the Data class and the changes in #37, #40 and #104, so start by reading those pull requests and the existing docs to find where the dataset machinery is described. Work through the checklist in the issue: dataset types, the GPT and generic dataset classes, how Data assembles them, and the existing prepare recipe. Done means a doc section covers each item, with a working example for the gpt_custom extension case.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
We need to document the new dataa mechanism, introduced in #37, #40, #104, etc.
The doc should at least describe:
- The different types of datasets (samplable, sampled, indexed, etc.)
- The different dataset classes available for GPT, and generic ones.
- The dynamic dataset class instantiation mechanism (to move elsewhere if/once we generalize)
- How datasets are put together in
Data - Maybe also the dataset preparation mechanism.
It should let the user know how to:
- Prepare a dataset with the prepare command (recipe is already in the doc, might just need to point to it)
- Configure Fast-LLM for typical dataset use cases (ex. dataset in multiple files, train/valid/test split, blending multiple datasets, etc.)
- Extend GPT with a custom configurable dataset class
- Extend GPT data and/or datasets for a custom model (ex.
gpt_custom) - (Advanced, can be postponed) Create a data and dataset for a custom model that doesn't extend GPT, reusing the existing generic machinery. (Need to generalize dynamic configuration first)
- (Can be postponed) Create a custom data that doesn't reuse the dataset machinery. Easy but not sure how much we need it.
- Lingua principale
- Python
- Stelle
- 337
- Fork
- 52
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di ServiceNow/Fast-LLM
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
ServiceNow/Fast-LLM#556 ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
ServiceNow/Fast-LLM#538 ·
-
enhancement
Difficoltà 5/5 Più di una settimana Idoneità per principianti 12/100
ServiceNow/Fast-LLM#533 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100
ServiceNow/Fast-LLM#510 · 1 commento ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 12/100
ServiceNow/Fast-LLM#507 ·
Tutte le issue di ServiceNow/Fast-LLM
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
Graphify-Labs/graphify#4860 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
:bug: Bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
scikit-image/scikit-image#8377 ·
I maintainer di solito rispondono entro 1 giorno
-
Ingredient import validation accepts negative nutrient values and NaNForse già presa @LukeSekai l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
wger-project/wger#2564 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
apache/ponymail-foal#351 ·
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 68/100
I maintainer di solito rispondono entro 4 giorni