Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

How to combine Inpaint and ContentRef templates?

Abierto
  • ¿Algo no está bien?
#1,541 1 comentario 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
35/100
Tipo de issue
Documentación
Claridad
Necesita aclaración
Estado de actividad
Tranquilo
Stack tecnológico
python
Área
ai, machine-learning

Línea de trabajo

Comienza con el punto de entrada TemplatePipeline.from_pretrained y el uso de ModelConfig y template_inputs mostrado en el issue. Comprueba si Inpaint y ContentRef son compatibles conjuntamente y cómo debería ser la entrada completa; se considera terminado cuando haya un ejemplo compatible reproducible o una explicación clara de la limitación y del error.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Hi, thanks for this great project.

I am trying to use these two templates together:

  • DiffSynth-Studio/Template-KleinBase4B-Inpaint
  • DiffSynth-Studio/Template-KleinBase4B-ContentRef

My goal is:

  • Use Inpaint to modify only the masked area.
  • Use ContentRef to guide the generated content/style.

Both templates work individually, but I am not sure how to combine them correctly.

I tried loading both templates:

template = TemplatePipeline.from_pretrained(
    torch_dtype=torch.bfloat16,
    device="cuda",
    model_configs=[
        ModelConfig(model_id="DiffSynth-Studio/Template-KleinBase4B-Inpaint"),
        ModelConfig(model_id="DiffSynth-Studio/Template-KleinBase4B-ContentRef"),
    ],
)

and passing both inputs:

template_inputs=[
    {
        "model_id": 0,
        "image": image,
        "mask": mask,
        "force_inpaint": True,
    },
    {
        "model_id": 1,
        "image": reference_image,
    },
]

But I got:

paste error or describe the unexpected result here
  1. Is combining Inpaint + ContentRef supported?
  2. Is this the correct way to pass multiple templates?
  3. Are there any additional settings required for ContentRef + Inpaint?

Thanks!

Lenguaje dominante
Python
Estrellas
13.2k
Forks
1.3k
Merge medio
12 h 52 min
PR fusionados (30 d)
20

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de modelscope/DiffSynth-Studio

Todos los issues de modelscope/DiffSynth-Studio

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.