Research: V100 Volta arch 70 support

Ouverte
#121 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
5/5
Temps estimé
Plus d'une semaine
Accessibilité débutants
12/100
Type d'issue
Bug
Clarté
À clarifier
Activité
Calme
Stack technique
cpp

Piste de recherche

The issue names no files, tests or entry points, so start by reproducing the report: run a 128k-context inference on a V100 (compute arch 70) with the turbo3 KV cache setting and with the default setting, and compare timings. Done would mean a documented root cause for the slowdown on arch 70, or a narrowed-down code path to fix. The thread has no maintainer direction yet.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Research Stage
  • Background Research (Let's try to avoid reinventing the wheel)
  • Hypothesis Formed (How do you think this will work and it's effect?)
  • Strategy / Implementation Forming
  • Analysis of results
  • Debrief / Documentation (So people in the future can learn from us)
Previous existing literature and research

I don't know if it can be useful but I wanted to report that while with version v0.4.2 the V100 arch 70 GPU did not work, now with version v0.4.3 preview it works without errors, but very slowly. A test on 128k ctx that with turboquant turbo3 takes 253 seconds with bellama kwarn3 takes 11480 seconds.

Hypothesis

No response

Implementation

No response

Analysis

No response

Relevant log output

Langage dominant
C++
Étoiles
1.2k
Forks
80
Merge moyen
4 j 20 h
PR mergées (30 j)
2

Préparer son environnement

Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de Anbeeld/beellama.cpp

Toutes les issues de Anbeeld/beellama.cpp

Issues similaires

Plus d'issues C++

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.