Lightning-AI/litData

Vedi su GitHub

Speed up model training by fixing data loading.

Stelle: 614
Fork: 106
Issue aperte per principianti: 2
Issue indicizzate: 41
Merge medio: 15h 8m
PR unite (30g): 22

Lingua principale: Python
Licenza: Apache-2.0
Ultimo push su GitHub: 19/9/2026
Ultima indicizzazione: 19/9/2026
Guida per i contributori: Guida per i contributori
Codice di condotta: Codice di condotta
Label per principianti: help wanted good first issue

Adatte ai principianti Tutto

Aperta Tutte

41 issue aperte indicizzate

Checkpoint uploads truncate output prefix for stable checkpoint filenames Aperta

bug help wanted

Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100

Lightning-AI/litData#888 · Aperta il 18/8/2026
Concurrency Budget is Static & Estimated From Hardcoded Magic Constants Aperta

bug help wanted

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

Lightning-AI/litData#870 · Aperta il 10/8/2026
parquet tests fails inconsistently in CI Aperta

bug help wanted

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

Lightning-AI/litData#813 · 1 commento · Aperta il 29/4/2026
index_path is ignored in StreamingDataset when input_dir is a local directory Aperta

bug help wanted

Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100

Lightning-AI/litData#800 · 1 commento · 1 reazione · Aperta il 19/3/2026
Shuffle buffer for controlling sample correlation Aperta

enhancement

Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

Lightning-AI/litData#797 · 2 commenti · Aperta il 11/3/2026
Add Global max_cache_size to CombinedStreamingDataset to Enforce a Total Cache Budget Across Child Datasets Aperta

enhancement

Lightning-AI/litData#790 · 1 commento · 1 reazione · 1 assegnatario · Aperta il 17/2/2026
Interrupt and resume merge_datasets Aperta

enhancement

Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

Lightning-AI/litData#784 · 2 commenti · 1 reazione · Aperta il 14/1/2026
`StreamingDataLoader` state is not loaded from checkpoint when resuming training Aperta

bug help wanted

Difficoltà 4/5 3-5 giorni Idoneità per principianti 43/100

Lightning-AI/litData#775 · 1 commento · 1 reazione · Aperta il 19/12/2025
TokensLoader segmentation fault Aperta

bug help wanted waiting on author

Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100

Lightning-AI/litData#756 · 1 commento · Aperta il 20/11/2025
TokensLoader with parallel meta field Aperta

enhancement

Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

Lightning-AI/litData#753 · Aperta il 15/11/2025
Supporting samplers for creating balanced batches Aperta

question waiting on author

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

Lightning-AI/litData#717 · 1 commento · Aperta il 22/9/2025
Add support for Teamspaces EFS and Filestore folders in resolver Aperta

enhancement

Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

Lightning-AI/litData#698 · Aperta il 23/8/2025
Add support for raw `Video` types for sliced video loading Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

Lightning-AI/litData#688 · 1 reazione · Aperta il 10/8/2025
Add support for TiffStreamingRawDataset Aperta

enhancement help wanted

Lightning-AI/litData#687 · 1 commento · 1 assegnatario · Aperta il 10/8/2025
Switch raw dataset indexing from `fsspec` to `obstore` Aperta

enhancement help wanted

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

Lightning-AI/litData#686 · 1 commento · Aperta il 10/8/2025
Add support for easy logging setup with sensible defaults Aperta

enhancement good first issue help wanted

Lightning-AI/litData#685 · 2 commenti · 2 reazioni · 1 assegnatario · Aperta il 10/8/2025
Try `obstore` for LitData Chunks Aperta

enhancement

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

Lightning-AI/litData#663 · 2 commenti · Aperta il 27/7/2025
Support Cycling a CombinedStreamingDataset Aperta

enhancement

Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100

Lightning-AI/litData#658 · 3 commenti · 1 reazione · Aperta il 22/7/2025
Support for subclasses of `StreamingDataset` with different length Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

Lightning-AI/litData#642 · 1 commento · 3 reazioni · Aperta il 30/6/2025
Explore Optimizing and Running Tests in Parallel for Faster CI in `litdata` Aperta

ci / tests help wanted

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

Lightning-AI/litData#612 · 3 commenti · Aperta il 4/6/2025
Add example for hugging face dataset optimization and benchmarks reports Aperta

documentation

Lightning-AI/litData#558 · 1 reazione · 1 assegnatario · Aperta il 17/4/2025
Cycle option for StreamingDataLoader Aperta

enhancement waiting on author

Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100

Lightning-AI/litData#524 · 8 commenti · Aperta il 24/3/2025
Local cache dir not fully clearing in DDP multi-node training. Aperta

bug help wanted

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

Lightning-AI/litData#512 · 12 commenti · 1 reazione · Aperta il 12/3/2025
Add batch sampler for StreamDataloader to enable flexiable training strategy. Aperta

enhancement

Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100

Lightning-AI/litData#509 · 2 commenti · 2 reazioni · Aperta il 11/3/2025
CI error: `All chunks should've been deleted` keeps coming back Aperta

bug help wanted

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

Lightning-AI/litData#437 · 2 commenti · 1 reazione · Aperta il 20/12/2024
Restart training with new data, mid-epoch Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

Lightning-AI/litData#436 · 1 commento · 3 reazioni · Aperta il 17/12/2024
Clear Examples of use with different dataset types and code changes. Aperta

documentation enhancement

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

Lightning-AI/litData#409 · 3 commenti · Aperta il 4/11/2024
incorrect dataloader length when `drop_last=False` Aperta

bug help wanted

Difficoltà 3/5 1-2 giorni Idoneità per principianti 38/100

Lightning-AI/litData#402 · 2 commenti · 2 reazioni · Aperta il 28/10/2024
Improve CombinedStreamingDataset to handle multiple subdatasets efficiently Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

Lightning-AI/litData#386 · 2 commenti · 2 reazioni · Aperta il 2/10/2024
The config isn't consistent between chunks Aperta

bug help wanted waiting on author

Difficoltà 4/5 3-5 giorni Idoneità per principianti 32/100

Lightning-AI/litData#370 · 11 commenti · Aperta il 17/9/2024
Investigate keeping the content of the downloaded chunks in RAM instead of writing it to file. Aperta

enhancement help wanted

Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100

Lightning-AI/litData#291 · 5 commenti · 2 reazioni · Aperta il 1/8/2024
Add training mode compression for zstd Aperta

enhancement help wanted

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

Lightning-AI/litData#283 · 3 commenti · Aperta il 31/7/2024
Add support for sample windowing Aperta

enhancement help wanted

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

Lightning-AI/litData#282 · 6 commenti · Aperta il 31/7/2024
RuntimeError: Can't start new thread Aperta

bug help wanted

Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100

Lightning-AI/litData#280 · 12 commenti · Aperta il 31/7/2024
If data samples contain a Python list with a variable number of elements, type inference will fail Aperta

bug help wanted

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

Lightning-AI/litData#260 · 11 commenti · 1 reazione · Aperta il 23/7/2024
Integration with DAG framework Prefect Aperta

enhancement help wanted

Lightning-AI/litData#226 · 1 commento · 1 assegnatario · Aperta il 12/7/2024
Add support for the reduce operator Aperta

enhancement help wanted won't fix

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

Lightning-AI/litData#225 · 4 commenti · Aperta il 12/7/2024
Using a streaming dataloader with an unbalanced dataset yields unexpected batch sizes. Aperta

bug help wanted

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

Lightning-AI/litData#199 · 10 commenti · 2 reazioni · Aperta il 29/6/2024
Pytorch lighting Fabric + lit data + DDP hangs when finishing epoch Aperta

bug help wanted

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

Lightning-AI/litData#129 · 6 commenti · Aperta il 13/5/2024
Allow a StreamingDataset to wrap around when running in a CombinedStreamingDataset Aperta

enhancement

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

Lightning-AI/litData#74 · 5 commenti · Aperta il 14/3/2024
Support `StreamingDataLoader` passed to `map` Aperta

enhancement

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

Lightning-AI/litData#13 · 4 commenti · Aperta il 23/2/2024

Lightning-AI/litData

Ricevi le nuove issue nella tua casella