Derive the GMS manifest from modular block declarations

Đang mở
#15,351 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
35/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python, pytorch
Lĩnh vực
machine-learning

Hướng nghiên cứu

Start by reading the work in PR #15017 and the modular pipeline declarations, especially InputParam, _workflow_map, and save_pretrained(). The issue presents several design options and says the related PR is still WIP, so first check the current implementation and discussion for an agreed direction. Done means modular blocks can provide the manifest data and newly saved models include gms.json.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

#15017 adds diffusers serve, which describes a model with a manifest: its tasks, inputs, parameters and outputs.

Right now modular pipelines go through the same path as standard pipelines: the blocks are converted into a __call__-like signature, and the manifest is guessed from argument names and type hints. That makes sense for standard pipelines, where the signature is all we have. But modular blocks are declarative, and we shouldn't need to guess for our own pipelines. I think the blocks can state most of this directly. A few ideas to start with:

1. InputParam.metadata
InputParam already has a metadata dict (Mellon uses it). It could carry what the manifest needs:

  • the public name (num_inference_steps → steps)
  • the kind: text, image, video, audio, mask, or a plain setting
  • whether it's user-facing at all (latents, timesteps are not)

2. Tasks from workflows
Tasks are guessed from whether there's an image / video input, so a model gets at most two. Blocks already declare their workflows and trigger inputs in _workflow_map. One task per workflow would also cover workflows triggered by other inputs, e.g. references in MiniMax-H3.

3. Require type_hint on user-facing inputs
A parameter's schema comes from its type hint (int → integer, list[float] → array of numbers). An input without one can't be described and is dropped today. We could require a type_hint on every InputParam that's exposed, and check it in the tests.

4. Reuse it in save_pretrained()
If the manifest comes from the blocks alone, the same function can run in save_pretrained() and write a gms.json next to modular_model_index.json. serve already picks up a gms.json from the model repo, so new models would ship with their manifest.

What the code could look like
A made-up sketch to show the idea, not tested. The "gms" key and its fields are placeholders.

# in a block
InputParam("num_inference_steps", type_hint=int, default=28, metadata={"gms": {"name": "steps"}})
InputParam("image", type_hint=PIL.Image.Image, metadata={"gms": {"type": "image"}})
InputParam("latents", type_hint=torch.Tensor)  # no metadata, not exposed
def derive_manifest(model_id, blocks):
    tasks = {}
    for workflow, triggers in blocks._workflow_map.items():
        # the blocks that run for this workflow, so only its own inputs are listed
        workflow_blocks = blocks.get_workflow(workflow)

        inputs, parameters = {}, {}
        for param in workflow_blocks.inputs:
            gms = (param.metadata or {}).get("gms")
            if gms is None:  # not user-facing
                continue
            name = gms.get("name", param.name)

            if gms.get("type") in ("text", "image", "video", "audio", "mask"):
                inputs[name] = {"type": gms["type"], "required": param.required or param.name in triggers}
            else:
                schema = type_hint_to_schema(param.type_hint)  # int -> {"type": "integer"}
                if param.default is not None:
                    schema["default"] = param.default
                parameters[name] = schema

        tasks[workflow] = {"inputs": inputs, "parameters": parameters}

    return {"id": model_id, "tasks": tasks}

No rush since the PR is still WIP, opening this to collect ideas.

Posted by Claude on behalf of @yiyixuxu. The text was drafted together and approved by yiyixuxu.

Ngôn ngữ chính
Python
Star
34.9k
Fork
7.5k
Merge trung bình
3 ngày 16 giờ
Pull request đã merge (30 ngày)
65

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của huggingface/diffusers

Tất cả issue của huggingface/diffusers

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.