Support Perceptual Flow Matching (PFM) for Few-Step Generation and Distillation
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 48/100
- Type d'issue
- Fonctionnalité
- Clarté
- Plutôt claire
- Activité
- Calme
- Stack technique
- python
- Domaine
- machine-learning
Piste de recherche
Aucun fichier ni test n'est nommé. Commencez par localiser le pipeline d'entraînement SFT actuel et son implémentation de la loss d'entraînement, puis comparez-le à l'implémentation PFM existante des auteurs. C'est terminé lorsque PFM peut remplacer la loss standard dans le pipeline et prendre en charge les cas d'utilisation validés SD3, Qwen-Image-Edit et Wan.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Hi! We recently published our work, Perceptual Flow Matching for Few-Step Generative Modeling: https://arxiv.org/abs/2607.03524.
In this work, we show that simply replacing the standard MSE loss with a perceptual loss during flow matching training can produce a strong few-step generator with only a few hundred training steps. We have validated the method on SD3, Qwen-Image-Edit, and Wan. The Qwen-Image-Edit and Wan experiments were both implemented based on DiffSynth-Studio.
I was wondering whether you would be interested in integrating PFM into DiffSynth-Studio. The method is highly compatible with the current SFT training pipeline, as it only requires replacing the training loss while leaving the rest of the framework unchanged.
If this sounds interesting, I'd be happy to help integrate our existing implementation and submit a PR for the project.
- Langage dominant
- Python
- Étoiles
- 13.3k
- Forks
- 1.3k
- Merge moyen
- 19 h 4 min
- PR mergées (30 j)
- 40
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de modelscope/DiffSynth-Studio
-
Partial download surfaces as "Cannot detect the model type" rather than a download errorPeut-être à nouveau libre Une pull request pour cette issue a été fermée sans être fusionnée. Ouverte
Difficulté 1/5 1-3 heures Accessibilité débutants 78/100
modelscope/DiffSynth-Studio#1668 ·
Les mainteneurs répondent en général sous 1 jour
-
bfloat16训练时段错误: 数组越界的一种方案Peut-être à nouveau libre Une pull request pour cette issue a été fermée sans être fusionnée. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
modelscope/DiffSynth-Studio#1499 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Latest update broke Wan2.2 S2VOuverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 78/100
modelscope/DiffSynth-Studio#1373 · 5 commentaires · 1 réaction ·
Les mainteneurs répondent en général sous 1 jour
-
minimax Ref2V 训练报错问题Ouverte
Difficulté 3/5 1-2 jours Accessibilité débutants 48/100
modelscope/DiffSynth-Studio#1790 ·
Les mainteneurs répondent en général sous 1 jour
-
OPD做步数蒸馏的疑问Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 30/100
modelscope/DiffSynth-Studio#1786 · 9 commentaires ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de modelscope/DiffSynth-Studio
Issues similaires
-
bug severity:low
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
Les mainteneurs répondent en général sous 2 jours
-
curriculum documentation quality
Difficulté 2/5 1-3 heures Accessibilité débutants 77/100
githubnext/gh-aw-workshop#5367 ·
Les mainteneurs répondent en général sous 3 jours
-
OAuth documentation for GET /api/v2/users/me/ appears inconsistent with required global read scopeOuverte
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
Les mainteneurs répondent en général sous 1 jour
-
Create Noise Latents ignores randomize_seed and produces the same noise every runPeut-être pris @griptapeops l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
griptape-ai/griptape-nodes-library-diffusers#127 ·
Les mainteneurs répondent en général sous 1 jour
-
Jenkins capacity report: metrics history is lost when archiving a month failsPeut-être pris @RaphaelFakhri l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
adoptium/infrastructure#4568 ·
Les mainteneurs répondent en général sous 1 jour