Diffing an FP8 pack against its own FP8 upstream exits 2 with an opaque error
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 2/5
- Geschätzter Aufwand
- 1-3 Stunden
- Anfängerfreundlichkeit
- 76/100
- Issue-Typ
- Bug
- Klarheit
- Klar beschrieben
- Aktivitätsstatus
- Aktiv
- Bereich
- machine-learning
Rechercherichtung
Lies den Vergleichspfad für den Kandidaten und den Upstream, einschließlich des im Issue erwähnten DecodedBase-Wrappers. Prüfe, wie der Upstream dekodiert wird und an welcher Stelle torch.equal Tensoren vergleicht; die FP8-Gewichte des Kandidaten sollten demselben Dekodierungspfad folgen, wobei .scale-Tensoren konsistent behandelt werden. Die Aufgabe ist abgeschlossen, wenn der Vergleich des eigenen FP8-Layouts des Kandidaten mit seinem dekodierten Upstream keinen Promotion-Fehler mehr auslöst und seine Scale-Tensoren nicht mehr als fehlend meldet.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
From the review of https://github.com/STRML/quantdiff/pull/1 (P2). A candidate in DeepSeek's own layout (raw FP8 weight + .scale) is compared raw against the decoded float32 upstream: torch.equal raises "Promotion for Float8 Types is not supported" and the run exits 2, and the candidate's .scale tensors show up as not in upstream. The candidate side should decode with the same DecodedBase wrapper as the upstream.
- Vorherrschende Sprache
- Python
- Sterne
- 0
- Forks
- 0
- Ø Merge
- 5 Min.
- Gemergte PRs (30 T.)
- 3
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus STRML/quantdiff
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 54/100
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 44/100
-
Stacked experts: fetch only the sampled expert slices, count decoded bytes in the prefetch budgetOffen
Schwierigkeit 4/5 1-2 Tage Anfängerfreundlichkeit 48/100
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 58/100
Alle Issues in STRML/quantdiff
Ähnliche Issues
-
bug P1
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
Toloka/tolokaforge#1947 ·
Maintainer antworten meist innerhalb von 1 Tag
-
SageMaker provider: streaming fails with NoStreamDataError on DJL Serving (LMI) endpointsEvtl. vergeben @balajiaru hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 88/100
UKGovernmentBEIS/inspect_ai#6127 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 67/100
pydot/pydot#601 · 4 Kommentare ·
Maintainer antworten meist innerhalb von 2 Tagen
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
letsencrypt/cp-cps#361 ·
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100