Research: V100 Volta arch 70 support

Offen
#121 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Anfängerfreundlichkeit
12/100
Issue-Typ
Bug
Klarheit
Muss geklärt werden
Aktivitätsstatus
Ruhig
Tech-Stack
cpp

Rechercherichtung

The issue names no files, tests or entry points, so start by reproducing the report: run a 128k-context inference on a V100 (compute arch 70) with the turbo3 KV cache setting and with the default setting, and compare timings. Done would mean a documented root cause for the slowdown on arch 70, or a narrowed-down code path to fix. The thread has no maintainer direction yet.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Research Stage
  • Background Research (Let's try to avoid reinventing the wheel)
  • Hypothesis Formed (How do you think this will work and it's effect?)
  • Strategy / Implementation Forming
  • Analysis of results
  • Debrief / Documentation (So people in the future can learn from us)
Previous existing literature and research

I don't know if it can be useful but I wanted to report that while with version v0.4.2 the V100 arch 70 GPU did not work, now with version v0.4.3 preview it works without errors, but very slowly. A test on 128k ctx that with turboquant turbo3 takes 253 seconds with bellama kwarn3 takes 11480 seconds.

Hypothesis

No response

Implementation

No response

Analysis

No response

Relevant log output

Vorherrschende Sprache
C++
Sterne
1.2k
Forks
80
Ø Merge
4 T. 20 Std.
Gemergte PRs (30 T.)
2

Entwicklungsumgebung

Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus Anbeeld/beellama.cpp

Alle Issues in Anbeeld/beellama.cpp

Ähnliche Issues

Weitere Issues zu C++

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.