Flux Control and HunyuanVideo LoRA converters swap the scale/shift halves of `lora_A` in `final_layer`
Maintainer antworten meist innerhalb von 1 Tag
Bewertung
- Schwierigkeit
- 2/5
- Geschätzter Aufwand
- 1-3 Stunden
- Anfängerfreundlichkeit
- 35/100
- Issue-Typ
- Bug
- Klarheit
- Klar beschrieben
- Aktivitätsstatus
- Veraltet
- Bereich
- machine-learning, testing
Rechercherichtung
Read loaders/lora_conversion_utils.py and the existing test_lora_bfl_final_layer_modulation test. The issue identifies both affected converters and proposes one test per converter, checking that only lora_B is swapped; run those tests to confirm the converted delta matches the expected scale/shift order. A pull request is already open for this issue.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Describe the bug
final_layer.adaLN_modulation.1 in the original checkpoints orders its output (shift, scale), and diffusers' norm_out.linear orders it (scale, shift), so the converters swap the two halves. For a LoRA only lora_B should be swapped: its rows are the layer's outputs. lora_A is (rank, in), so swapping its halves reorders the rank dimension and the converted delta is wrong.
Two converters in loaders/lora_conversion_utils.py swap both:
_convert_bfl_flux_control_lora_to_diffusers:swap_scale_shiftis applied for everylora_key, includinglora_A(weight and bias)._convert_hunyuan_video_lora_to_diffusers:remap_norm_scale_shift_swaps everyfinal_layer.adaLN_modulation.1key,lora_Aincluded.
The kohya Flux converter already swaps only lora_B. This is the same class of bug #15276 fixed for Flux2.
Reproduction
import torch
from diffusers.loaders.lora_conversion_utils import _convert_bfl_flux_control_lora_to_diffusers
RANK, INNER = 4, 3072
torch.manual_seed(0)
class FillingDict(dict):
# dummy tensors for the keys the converter pops that this repro doesn't care about
def pop(self, key, *default):
if key in self:
return super().pop(key)
if default:
return default[0]
return torch.zeros(21504, RANK) if ".lora_B." in key else torch.zeros(RANK, 8)
lora_A = torch.randn(RANK, INNER)
lora_B = torch.randn(2 * INNER, RANK) # rows: (shift, scale)
sd = FillingDict({
"final_layer.adaLN_modulation.1.lora_A.weight": lora_A.clone(),
"final_layer.adaLN_modulation.1.lora_B.weight": lora_B.clone(),
"double_blocks.0.img_attn.norm.query_norm.scale": torch.ones(1),
})
out = _convert_bfl_flux_control_lora_to_diffusers(sd)
A = out["transformer.norm_out.linear.lora_A.weight"]
B = out["transformer.norm_out.linear.lora_B.weight"]
shift, scale = (lora_B @ lora_A).chunk(2, dim=0)
expected = torch.cat([scale, shift])
print(torch.allclose(B @ A, expected, atol=1e-4), (B @ A - expected).abs().max().item())
print(torch.allclose(B @ lora_A, expected, atol=1e-4)) # lora_A left as is
Logs
False 39.052650451660156
True
The HunyuanVideo converter gives the same result (max error 17.05 in the equivalent check).
System Info
diffusers main @ 43e3002, torch 2.15.0, Python 3.12, macOS (CPU).
Who can help?
@sayakpaul
I have a fix with tests for both converters (swap only lora_B; one test per converter in the style of test_lora_bfl_final_layer_modulation, both fail on main) and can open a PR if you'd like. It may change the expected slices of the slow Flux Control LoRA integration tests, which I can't regenerate without a GPU.
- Vorherrschende Sprache
- Python
- Sterne
- 34.9k
- Forks
- 7.5k
- Ø Merge
- 3 T. 16 Std.
- Gemergte PRs (30 T.)
- 65
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Hat eine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus huggingface/diffusers
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 84/100
huggingface/diffusers#15363 ·
Maintainer antworten meist innerhalb von 1 Tag
-
`ZImageImg2ImgPipeline` / `ZImageInpaintPipeline`: explicit height/width different from the input image raises RuntimeErrorEvtl. vergeben @chessing234 hat das vor 1 Tag übernommen. Offenbug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100
huggingface/diffusers#15337 · 2 Kommentare ·
Maintainer antworten meist innerhalb von 1 Tag
-
Multi-vector textual inversion uses only the first vector when the token has uppercase letters (transformers v5)Evtl. vergeben @sunhouy hat das vor 2 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100
huggingface/diffusers#15313 ·
Maintainer antworten meist innerhalb von 1 Tag
-
TCDScheduler advances the generator on the final step of a strength-truncated custom scheduleEvtl. vergeben @SIDDARTHAREDDY8 hat das vor 5 Tagen übernommen. Offenbug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 74/100
huggingface/diffusers#15288 · 2 Kommentare ·
Maintainer antworten meist innerhalb von 1 Tag
-
unload_textual_inversion(token) leaves the extra tokens of a multi-vector embedding behind, so it can't be loaded againEvtl. vergeben @sohailshk hat das vor 11 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
huggingface/diffusers#15211 · 3 Kommentare ·
Maintainer antworten meist innerhalb von 1 Tag
Alle Issues in huggingface/diffusers
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 73/100
Maintainer antworten meist innerhalb von 1 Tag
-
Unused loot bag group names left in dreamcraft en_US.langEvtl. vergeben Ein verknüpfter Pull Request ist offen oder bereits gemergt. OffenStatus: Triage Suggestion
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 90/100
GTNewHorizons/GT-New-Horizons-Modpack#27789 ·
Maintainer antworten meist innerhalb von 1 Tag
-
bug frontend sev-5
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 83/100
-
core good first issue
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
-
b4b code health next
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
ESCOMP/CTSM#4330 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag