Repository Issues

kyegomez/attn_res

A clean, single-file PyTorch implementation of Attention Residuals (Kimi Team, MoonshotAI, 2026), integrated with Grouped Query Attention (GQA), SwiGLU feed-forward networks, and Rotary Position Embeddings (RoPE).

Auf GitHub ansehen
Stars
 (29 Stars)
Forks
 (2 Forks)
Indexierte Issues
 (0 indexierte Issues)
offene Einsteiger-Issues
 (0 offene Einsteiger-Issues)
Zuletzt indexiert
20. Juli 2026
Letzter GitHub Push
16. März 2026
Lizenz
Apache License 2.0
Contributing Guide
Kein Contributing Guide
Code of Conduct
Kein Code of Conduct
Hauptsprache
Python
PR-Merge-Metriken
 (PR-Metriken ausstehend)
Einsteiger-Labels
Keine Einsteiger-Labels indexiert

Issues

0 offene indexierte Issues

RSSAtom

Für dieses Repository wurden keine offenen indexierten Issues gefunden.