ggml-org/llama.cpp

ggml : add ANE backend

開放

#10,453 建立於 2024年11月22日

在 GitHub 查看貢獻者指南
 (21 則留言) (85 個反應) (0 位負責人)C++ (21,764 個分叉)batch import
help wantedresearch 🔬roadmap

倉庫指標

星標
 (124,134 顆星)
PR 合併指標
 (平均合併 6天 8小時) (30 天內合併 389 個 PR)

描述

According to this https://github.com/ggerganov/llama.cpp/discussions/336#discussioncomment-11184134, there is a new CoreML API and an ANE backend might be possible to implement with latest Apple software/hardware.

貢獻者指南

研究方向
查閱引用的討論評論和蘋果的 CoreML 文件。研究 ggml 中現有的 Metal 後端以了解整合模式。透過 CoreML Performance Shaders 探索 ANE 功能。確定 ggml 所需的 API 呼叫和模型轉換步驟。
技術棧
ccpp
領域
backendmachine learning
議題類型
功能
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
4
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
超過 1 週
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
活躍
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
大致清晰
前置要求
CoreMLC++Apple hardware
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
30