Investigate different approaches to binding to ggml

Ouverte
  • Quelque chose ne va pas ?
#3 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
4/5
Temps estimé
3-5 jours
Accessibilité débutants
30/100
Type d'issue
Refactorisation
Clarté
Clairement spécifiée
Activité
À l'abandon
Stack technique
c, cmake, python
Domaine
backend, build-system, devtools

Piste de recherche

Examinez le binding ctypes existant dans ggml/ggml.py ainsi que la configuration de build de CMakeLists.txt. Examinez les branches de test pour nanobind et SWIG afin de comprendre les tentatives d’intégration. L’objectif est d’évaluer les systèmes de binding selon les exigences indiquées : performances, maintenabilité, extensibilité et compatibilité avec le système de build de ggml. Déterminez les compromis de chaque approche sans implémenter de solution complète.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Current Approach
Use scikit-build-core and a CMakeLists file in the root directory to compile ggml as a shared library and install it relative to the ggml/ggml.py file so that it can be loaded by ctypes.CDLL.

Issues with Current Approach

  • #define's are not accessible from the shared library, this is an issue for values that are computed on the host system at compile time.
  • Platform specific functions such as those for CUDA, OpenCL, and Metal are also awkward to conditionally support with the ctypes approach
  • Assuming the relative location of files in an installed package causes issues, especially when installing in ie. editable mode for local development.
  • Some arguments such as ctypes Array's require awkward typing workarounds.

Alternative Binding Systems

Requirements

  • Should be at least as fast as ctypes approach (large overhead is not acceptable for this application)
  • Should be simple to maintain (ggml changes often, should be at least as simple as ctypes to add new function definitions / types / etc)
  • Should be easy for others to extend or modify ggml
  • Should use ggml's existing build system and flags when compiling, should not limit which platforms / optimizations can be used
Langage dominant
Python
Étoiles
152
Forks
17
Aucune PR mergée en 30 j

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de abetlen/ggml-python

Toutes les issues de abetlen/ggml-python

Issues similaires

Plus d'issues Python

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.