Lightning-AI/litData

GitHub で見る

Speed up model training by fixing data loading.

スター: 614
フォーク: 106
オープンの初心者向け issue: 2
索引済み issue: 41
平均マージ: 15時間 8分
マージ済み PR（30日）: 22

主要言語: Python
ライセンス: Apache-2.0
最終 GitHub push: 2026年9月19日
最新の索引: 2026年9月19日
コントリビューションガイド: コントリビューションガイド
行動規範: 行動規範
初心者向けラベル: help wanted good first issue

初心者向けすべて

オープンすべて

オープンの issue を 41 件索引しました

Checkpoint uploads truncate output prefix for stable checkpoint filenames オープン

bug help wanted

難易度 2/5 1〜3時間初心者へのやさしさ 82/100

Lightning-AI/litData#888 · 2026年8月18日に作成
Concurrency Budget is Static & Estimated From Hardcoded Magic Constants オープン

bug help wanted

難易度 5/5 1週間以上初心者へのやさしさ 35/100

Lightning-AI/litData#870 · 2026年8月10日に作成
parquet tests fails inconsistently in CI オープン

bug help wanted

難易度 4/5 3〜5日初心者へのやさしさ 35/100

Lightning-AI/litData#813 · コメント 1 件 · 2026年4月29日に作成
index_path is ignored in StreamingDataset when input_dir is a local directory オープン

bug help wanted

難易度 2/5 1〜3時間初心者へのやさしさ 68/100

Lightning-AI/litData#800 · コメント 1 件 · リアクション 1 件 · 2026年3月19日に作成
Shuffle buffer for controlling sample correlation オープン

enhancement

難易度 4/5 3〜5日初心者へのやさしさ 48/100

Lightning-AI/litData#797 · コメント 2 件 · 2026年3月11日に作成
Add Global max_cache_size to CombinedStreamingDataset to Enforce a Total Cache Budget Across Child Datasets オープン

enhancement

Lightning-AI/litData#790 · コメント 1 件 · リアクション 1 件 · 担当者 1 名 · 2026年2月17日に作成
Interrupt and resume merge_datasets オープン

enhancement

難易度 4/5 3〜5日初心者へのやさしさ 45/100

Lightning-AI/litData#784 · コメント 2 件 · リアクション 1 件 · 2026年1月14日に作成
`StreamingDataLoader` state is not loaded from checkpoint when resuming training オープン

bug help wanted

難易度 4/5 3〜5日初心者へのやさしさ 43/100

Lightning-AI/litData#775 · コメント 1 件 · リアクション 1 件 · 2025年12月19日に作成
TokensLoader segmentation fault オープン

bug help wanted waiting on author

難易度 4/5 3〜5日初心者へのやさしさ 30/100

Lightning-AI/litData#756 · コメント 1 件 · 2025年11月20日に作成
TokensLoader with parallel meta field オープン

enhancement

難易度 4/5 3〜5日初心者へのやさしさ 45/100

Lightning-AI/litData#753 · 2025年11月15日に作成
Supporting samplers for creating balanced batches オープン

question waiting on author

難易度 5/5 1週間以上初心者へのやさしさ 35/100

Lightning-AI/litData#717 · コメント 1 件 · 2025年9月22日に作成
Add support for Teamspaces EFS and Filestore folders in resolver オープン

enhancement

難易度 4/5 3〜5日初心者へのやさしさ 45/100

Lightning-AI/litData#698 · 2025年8月23日に作成
Add support for raw `Video` types for sliced video loading オープン

enhancement

難易度 5/5 1週間以上初心者へのやさしさ 25/100

Lightning-AI/litData#688 · リアクション 1 件 · 2025年8月10日に作成
Add support for TiffStreamingRawDataset オープン

enhancement help wanted

Lightning-AI/litData#687 · コメント 1 件 · 担当者 1 名 · 2025年8月10日に作成
Switch raw dataset indexing from `fsspec` to `obstore` オープン

enhancement help wanted

難易度 5/5 1週間以上初心者へのやさしさ 35/100

Lightning-AI/litData#686 · コメント 1 件 · 2025年8月10日に作成
Add support for easy logging setup with sensible defaults オープン

enhancement good first issue help wanted

Lightning-AI/litData#685 · コメント 2 件 · リアクション 2 件 · 担当者 1 名 · 2025年8月10日に作成
Try `obstore` for LitData Chunks オープン

enhancement

難易度 4/5 3〜5日初心者へのやさしさ 35/100

Lightning-AI/litData#663 · コメント 2 件 · 2025年7月27日に作成
Support Cycling a CombinedStreamingDataset オープン

enhancement

難易度 3/5 1〜2日初心者へのやさしさ 45/100

Lightning-AI/litData#658 · コメント 3 件 · リアクション 1 件 · 2025年7月22日に作成
Support for subclasses of `StreamingDataset` with different length オープン

enhancement

難易度 5/5 1週間以上初心者へのやさしさ 35/100

Lightning-AI/litData#642 · コメント 1 件 · リアクション 3 件 · 2025年6月30日に作成
Explore Optimizing and Running Tests in Parallel for Faster CI in `litdata` オープン

ci / tests help wanted

難易度 4/5 3〜5日初心者へのやさしさ 35/100

Lightning-AI/litData#612 · コメント 3 件 · 2025年6月4日に作成
Add example for hugging face dataset optimization and benchmarks reports オープン

documentation

Lightning-AI/litData#558 · リアクション 1 件 · 担当者 1 名 · 2025年4月17日に作成
Cycle option for StreamingDataLoader オープン

enhancement waiting on author

難易度 4/5 3〜5日初心者へのやさしさ 30/100

Lightning-AI/litData#524 · コメント 8 件 · 2025年3月24日に作成
Local cache dir not fully clearing in DDP multi-node training. オープン

bug help wanted

難易度 4/5 3〜5日初心者へのやさしさ 25/100

Lightning-AI/litData#512 · コメント 12 件 · リアクション 1 件 · 2025年3月12日に作成
Add batch sampler for StreamDataloader to enable flexiable training strategy. オープン

enhancement

難易度 4/5 3〜5日初心者へのやさしさ 30/100

Lightning-AI/litData#509 · コメント 2 件 · リアクション 2 件 · 2025年3月11日に作成
CI error: `All chunks should've been deleted` keeps coming back オープン

bug help wanted

難易度 4/5 3〜5日初心者へのやさしさ 25/100

Lightning-AI/litData#437 · コメント 2 件 · リアクション 1 件 · 2024年12月20日に作成
Restart training with new data, mid-epoch オープン

enhancement

難易度 5/5 1週間以上初心者へのやさしさ 25/100

Lightning-AI/litData#436 · コメント 1 件 · リアクション 3 件 · 2024年12月17日に作成
Clear Examples of use with different dataset types and code changes. オープン

documentation enhancement

難易度 4/5 3〜5日初心者へのやさしさ 35/100

Lightning-AI/litData#409 · コメント 3 件 · 2024年11月4日に作成
incorrect dataloader length when `drop_last=False` オープン

bug help wanted

難易度 3/5 1〜2日初心者へのやさしさ 38/100

Lightning-AI/litData#402 · コメント 2 件 · リアクション 2 件 · 2024年10月28日に作成
Improve CombinedStreamingDataset to handle multiple subdatasets efficiently オープン

enhancement

難易度 5/5 1週間以上初心者へのやさしさ 25/100

Lightning-AI/litData#386 · コメント 2 件 · リアクション 2 件 · 2024年10月2日に作成
The config isn't consistent between chunks オープン

bug help wanted waiting on author

難易度 4/5 3〜5日初心者へのやさしさ 32/100

Lightning-AI/litData#370 · コメント 11 件 · 2024年9月17日に作成
Investigate keeping the content of the downloaded chunks in RAM instead of writing it to file. オープン

enhancement help wanted

難易度 5/5 1週間以上初心者へのやさしさ 20/100

Lightning-AI/litData#291 · コメント 5 件 · リアクション 2 件 · 2024年8月1日に作成
Add training mode compression for zstd オープン

enhancement help wanted

難易度 5/5 1週間以上初心者へのやさしさ 25/100

Lightning-AI/litData#283 · コメント 3 件 · 2024年7月31日に作成
Add support for sample windowing オープン

enhancement help wanted

難易度 5/5 1週間以上初心者へのやさしさ 35/100

Lightning-AI/litData#282 · コメント 6 件 · 2024年7月31日に作成
RuntimeError: Can't start new thread オープン

bug help wanted

難易度 4/5 3〜5日初心者へのやさしさ 30/100

Lightning-AI/litData#280 · コメント 12 件 · 2024年7月31日に作成
If data samples contain a Python list with a variable number of elements, type inference will fail オープン

bug help wanted

難易度 4/5 3〜5日初心者へのやさしさ 35/100

Lightning-AI/litData#260 · コメント 11 件 · リアクション 1 件 · 2024年7月23日に作成
Integration with DAG framework Prefect オープン

enhancement help wanted

Lightning-AI/litData#226 · コメント 1 件 · 担当者 1 名 · 2024年7月12日に作成
Add support for the reduce operator オープン

enhancement help wanted won't fix

難易度 5/5 1週間以上初心者へのやさしさ 25/100

Lightning-AI/litData#225 · コメント 4 件 · 2024年7月12日に作成
Using a streaming dataloader with an unbalanced dataset yields unexpected batch sizes. オープン

bug help wanted

難易度 4/5 3〜5日初心者へのやさしさ 35/100

Lightning-AI/litData#199 · コメント 10 件 · リアクション 2 件 · 2024年6月29日に作成
Pytorch lighting Fabric + lit data + DDP hangs when finishing epoch オープン

bug help wanted

難易度 4/5 3〜5日初心者へのやさしさ 35/100

Lightning-AI/litData#129 · コメント 6 件 · 2024年5月13日に作成
Allow a StreamingDataset to wrap around when running in a CombinedStreamingDataset オープン

enhancement

難易度 4/5 3〜5日初心者へのやさしさ 35/100

Lightning-AI/litData#74 · コメント 5 件 · 2024年3月14日に作成
Support `StreamingDataLoader` passed to `map` オープン

enhancement

難易度 4/5 3〜5日初心者へのやさしさ 35/100

Lightning-AI/litData#13 · コメント 4 件 · 2024年2月23日に作成

Lightning-AI/litData

新しい issue をメールで受け取る