Investigate different approaches to binding to ggml
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 30/100
- Issue 类型
- 重构
- 描述清晰度
- 描述清楚
- 活跃度
- 停滞
- 领域
- backend, build-system, devtools
调研方向
检查 ggml/ggml.py 中现有的 ctypes binding 和 CMakeLists.txt 构建配置。研究 nanobind 和 SWIG 的测试分支，以了解集成尝试。目标是根据列出的要求评估各个 binding 系统：性能、可维护性、可扩展性以及与 ggml 构建系统的兼容性。在不实现完整解决方案的情况下，确定每种方法的权衡。
由索引模型根据 Issue 内容生成。
描述
Current Approach
Use scikit-build-core and a CMakeLists file in the root directory to compile ggml as a shared library and install it relative to the ggml/ggml.py file so that it can be loaded by ctypes.CDLL.
Issues with Current Approach
#define's are not accessible from the shared library, this is an issue for values that are computed on the host system at compile time.- Platform specific functions such as those for CUDA, OpenCL, and Metal are also awkward to conditionally support with the ctypes approach
- Assuming the relative location of files in an installed package causes issues, especially when installing in ie. editable mode for local development.
- Some arguments such as ctypes Array's require awkward typing workarounds.
Alternative Binding Systems
- Cython
- Pybind11
- Nanobind (WIP)
- SWIG (WIP)
- CFFI(?)
- Stick with ctypes
Requirements
- Should be at least as fast as ctypes approach (large overhead is not acceptable for this application)
- Should be simple to maintain (ggml changes often, should be at least as simple as ctypes to add new function definitions / types / etc)
- Should be easy for others to extend or modify ggml
- Should use ggml's existing build system and flags when compiling, should not limit which platforms / optimizations can be used
- 主要语言
- Python
- 星标
- 152
- 派生
- 16
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
abetlen/ggml-python 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 75/100
abetlen/ggml-python#91 ·
-
Import error未关闭
难度 2/5 1-3 小时 新手友好度 65/100
abetlen/ggml-python#90 ·
-
难度 4/5 3-5 天 新手友好度 25/100
abetlen/ggml-python#93 · 1 条评论 ·
-
难度 3/5 1-2 天 新手友好度 45/100
abetlen/ggml-python#92 ·
-
难度 3/5 1-2 天 新手友好度 30/100
abetlen/ggml-python#21 ·
查看 abetlen/ggml-python 的全部 Issue
相似的 Issue
-
难度 1/5 1 小时以内 新手友好度 88/100
-
难度 2/5 1-3 小时 新手友好度 72/100
aws-samples/sample-per-model-bedrock#261 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 65/100
pwncollege/dojo#1188 ·
维护者通常 1 天内回复
-
bug launcher packaging
难度 1/5 1 小时以内 新手友好度 88/100
tenstorrent/tt-studio#1426 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
python-attrs/cattrs#796 ·
维护者通常 1 天内回复