Repository Issues

kyegomez/attn_res

A clean, single-file PyTorch implementation of Attention Residuals (Kimi Team, MoonshotAI, 2026), integrated with Grouped Query Attention (GQA), SwiGLU feed-forward networks, and Rotary Position Embeddings (RoPE).

GitHub で見る
Stars
 (29 stars)
Forks
 (2 forks)
Indexed issues
 (0 indexed issues)
open beginner issues
 (0 open beginner issues)
最終索引
2026年7月20日
最終 GitHub push
2026年3月16日
ライセンス
Apache License 2.0
コントリビューションガイド
コントリビューションガイドはありません
行動規範
行動規範はありません
主要言語
Python
PR merge metrics
 (PR metrics pending)
初心者向けラベル
索引済み初心者向けラベルはありません

Issue

0 open indexed issues

RSSAtom

このリポジトリには open の索引済み Issue がありません。