[RFC] veScale: High-Level API for nD Parallel Training
@leonardo0lyj đang làm issue này rồi.
Từ ngày 12/6/2024.
Đánh giá
Issue này chưa được đánh giá.
Mô tả
TL'DR
Motivation
Our current APIs for nD Parallel Training are low-level and are kind of complex for common users ... Ideally, we want a simpler API at a high level like this:
Single Device Code
dataset = ...
data_loader = torch.utils.data.DataLoader(dataset, ...)
class Net(nn.Module):
...
def optimizer_fn(model):
...
return torch.optim.Adam(model_param_groups, ...)
def lr_scheduler_fn(optimizer):
...
return torch.optim.lr_scheduler.StepLR(optimizer, ...)
model = Net(...)
optimizer = optimizer_fn(model)
scheduler = lr_scheduler_fn(optimizer)
for epoch in range(10):
for batch in data_loader:
optimizer.zero_grad()
loss = model(batch)
loss.backward()
optimizer.step()
scheduler.step()
torch.save(model.state_dict(), "/path/to/checkpoint")
torch.save(optimizer.state_dict(), "/path/to/checkpoint")
torch.save(scheduler.state_dict(), "/path/to/checkpoint")
veScale High-Level API for nD Parallel Training
dataset = ...
### zero code change on model
class Net(nn.Module):
...
def optimizer_fn(model):
...
return torch.optim.Adam(model_param_groups, ...)
def lr_scheduler_fn(optimizer):
...
return torch.optim.lr_scheduler.StepLR(optimizer, ...)
### create giant model without OOM
model = vescale.deferred_init(Net, ...)
### generate plan of nD parallel training under user constraints
# $ constraints = { "pipeline_parallel.split_method" : "flops",
# $ "tensor_parallel.sharding_policy" : "megatron" }
plan = vescale.generate_plan(constraints, model)
# $ print(plan)
# $ pipeline_parallel.split_points : ["layer1", "layer3", ...]
# $ tensor_parallel.sharding_plan : { "layer2.weight" : [Shard(dim=0)], ... }
### create nD parallel model and optimizer, specified by the plan
model, optimizer, scheduler, data_loader = vescale.parallelize(plan, model, optimizer_fn, lr_scheduler_fn, dataset)
### zero code change on training loop
for epoch in range(10):
for batch in data_loader:
optimizer.zero_grad()
### trains nD parallel model as if on single device
loss = model(batch)
loss.backward()
optimizer.step()
scheduler.step()
### saves nD parallel model and optimizer
vescale.save("/path/to/checkpoint", { "plan": plan, "model" : model, "optimizer" : optimizer, "lr_scheduler": scheduler })
Idea
- Single Device Abstraction for nD Parallel Training
- Common users can only see this high-level API
- Common users can only write <10 LoC in training scripts
- veScale handles all complexities under the hood (e.g., all low-level APIs)
- This is a unified API for nD parallelsim
- Take an nD parallel "Plan" (a.k.a. config)
- Create nD DeviceMesh
- Create each D of nD Parallel
- Support both Eager and Compile Mode
- This is a future-proof API
- can extend to future DeviceMesh
- can extend to future parallel (e.g., EP, CP, *P)
Feedbacks are all we need : )
- Ngôn ngữ chính
- Python
- Star
- 1k
- Fork
- 65
- Merge trung bình
- 21 giờ 34 phút
- Pull request đã merge (30 ngày)
- 1
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của volcengine/veScale
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 12/100
volcengine/veScale#75 ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 10/100
volcengine/veScale#73 · 1 bình luận · 3 reaction ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 8/100
volcengine/veScale#72 · 5 reaction ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 30/100
volcengine/veScale#68 ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 8/100
volcengine/veScale#65 ·
Tất cả issue của volcengine/veScale
Issue tương tự
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
docling-project/docling-pipelines#669 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
blocked kind/enhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
opendatahub-io/agent-eval-harness#329 · 2 bình luận · 1 reaction ·
-
cc_wrapper crashes with ValueError on Windows when a path is on another driveCó thể đã có người làm @TrapsterDK đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 79/100
tweag/rules_haskell#2492 ·
Maintainer thường phản hồi trong vòng 1 ngày