AVX-512 instructions enable denser packing and more efficient lookups.
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 35/100
- Issue-Typ
- Feature
- Klarheit
- Muss geklärt werden
- Aktivitätsstatus
- Ruhig
- Tech-Stack
- cpp
- Bereich
- performance
Rechercherichtung
Beginne mit der Durchsicht der verknüpften Implementierung in src/ternary_mm_avx512.cpp und vergleiche ihren Lookup-Ansatz für fünf Aktivierungen mit dem entsprechenden BitNet-Code. Identifiziere den vorgesehenen Integrationspunkt und bestimme, welcher Benchmark oder welche Validierung den gemeldeten Geschwindigkeitszuwachs nachweisen würde; das Issue nennt keine BitNet-Datei und keinen Test, die den Abschluss definieren.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
I have an implementation put together here: https://github.com/tommyyliu/lut_mm/blob/master/src/ternary_mm_avx512.cpp
The table has all the dot products with 5 activations instead of just 3. This means that each lookup handles 5 instead of 3, and you can see pretty substantial speedup.
- Vorherrschende Sprache
- C++
- Sterne
- 40.6k
- Forks
- 3.8k
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus microsoft/BitNet
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 86/100
-
i2_s SIGSEGVs at n_ubatch >= 32: BLAS backend dequantises by a row stride 4x the real packed rowOffen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 86/100
-
Warning: `huggingface-cli` is deprecated and no longer works. Use `hf` instead.Evtl. vergeben @ousamabenyounes hat das vor 64 Tagen übernommen. Offen
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 92/100
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
Alle Issues in microsoft/BitNet
Ähnliche Issues
-
`IO.FS.realPath` reports every failure as `noFileOrDirectory` instead of classifying by `errno`Offenbug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 66/100
leanprover/lean4#15683 ·
Maintainer antworten meist innerhalb von 1 Tag
-
llvm.memcpy with destination align but no source align asserts "Missed Source alignment!"Evtl. vergeben @pvelesko hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
KhronosGroup/SPIRV-LLVM-Translator#4093 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 66/100
Maintainer antworten meist innerhalb von 1 Tag
-
SIMQ silently truncates multi-query batch search to the first queryEvtl. vergeben @LHT129 hat das heute übernommen. Offenkind/bug module/index needs-triage
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
antgroup/vsag#3080 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 Ein halber Tag Anfängerfreundlichkeit 68/100
Maintainer antworten meist innerhalb von 1 Tag