ggml-org/llama.cpp

ggml : add DirectML backend

Open

#7,772 创建于 2024年6月5日

在 GitHub 查看
 (20 评论) (40 反应) (0 负责人)C++ (18,202 fork)batch import
help wantedresearch 🔬roadmap

仓库指标

Star
 (110,169 star)
PR 合并指标
 (平均合并 6天 8小时) (30 天内合并 389 个 PR)

描述

It seems like DirectML supports the upcoming NPU-enabled chips for Windows machines: https://devblogs.microsoft.com/directx/introducing-neural-processor-unit-npu-support-in-directml-developer-preview/

I don't think there is any other way to tap into this hardware, so we should explore if it possible to add this library as a backend in ggml in order to run stuff on the NPUs. There has been some semi-related work in the past that combined ggml and Direct3D: https://github.com/Const-me/Whisper. Not sure if it is relevant at all, maybe just as an inspiration

贡献者指南

研究方向
研究 DirectML SDK 和 ggml 中现有的 Direct3D 集成（Const me/Whisper），以设计后端架构。
技术栈
cpp
领域
backendai
议题类型
功能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
4
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
超过 1 周
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
基本清晰
前置要求
C++Machine Learning
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
20