倉庫議題

kyegomez/attn_res

A clean, single-file PyTorch implementation of Attention Residuals (Kimi Team, MoonshotAI, 2026), integrated with Grouped Query Attention (GQA), SwiGLU feed-forward networks, and Rotary Position Embeddings (RoPE).

在 GitHub 查看
星標
 (39 顆星)
分叉
 (3 個分叉)
已索引議題
 (0 個已索引議題)
個開放新手議題
 (0 個開放的新手議題)
最近索引
2026年8月10日
最近 GitHub push
2026年3月16日
授權條款
Apache License 2.0
貢獻指南
沒有貢獻指南
行為準則
沒有行為準則
主要語言
Python
PR 合併指標
 (30 天內沒有已合併 PR)
新手標籤
沒有已索引的新手標籤

議題

0 個已關閉索引議題

此倉庫沒有已關閉的已索引議題。