New architecture request: Recursive Flint (RecursiveSI/flint — 39.8B MoE coding model, ~2.5B active)
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- python
調査の方向性
Start by reading the linked RecursiveSI/flint model card and compare its architecture details with the supported model families and the GGUF architecture list in the error. The issue requests BF16 safetensors support for a new MoE architecture; the GGUF mapping is a follow-up once the family lands. Done means FreeToken can load and serve the BF16 checkpoint, with tests covering the Flint architecture.
索引モデルが issue の本文から書いたものです。
説明
Before you start
- I have checked the supported models and this checkpoint is not listed there. A listed checkpoint that fails is a bug; use a Bug report instead.
- I have read the Roadmap and this model is not already planned there.
- I have read the FAQ.
- I have searched existing issues and found no duplicate.
- This is not a GGUF checkpoint. GGUF support is on the Roadmap; please do not open an issue for it.
(The ask below is the architecture, via the BF16 safetensors checkpoint. The GGUF file is only mentioned as context.)
Hugging Face link
https://huggingface.co/RecursiveSI/flint (BF16 checkpoint, model config, tokenizer, chat template, SGLang serving kit)
Is the model architecture already supported
No, this is a new model architecture
Is the quantization already supported
Not quantized (BF16 checkpoint; an NVFP4 quantization of the same architecture also exists, see "Anything else")
Error or log
Tried the released NVFP4 GGUF of the same architecture on FreeToken Desktop v0.2.0+g425dc7bf1 (Windows, CUDA 13 build). Startup refuses the GGUF metadata before any weights load, which confirms the architecture itself has no family in 0.2.0:
ValueError: GGUF architecture 'flint' is not supported (known: ['gemma4', 'glm4moe', 'glm5-next', 'glm5next', 'llama', 'minimax-m2', 'minimax-m3', 'muse-glimmer', 'qwen2', 'qwen3', 'qwen35', 'qwen35moe', 'qwen3moe', 'qwen4exp'])
I have not tried the BF16 checkpoint (single 10 GB GPU here), so this report carries no safetensors load log.
Anything else
Flint is a coding-agent MoE from Recursive (release post): 74.2% SWE-bench Verified, 89.7% SWE-bench Pro v2. Its ~2.5 B active parameters per token look like a good fit for FreeToken's expert-offload strategies on small-VRAM hosts.
Architecture facts from the model card:
- 39.8 B total parameters, ~2.5 B active per token (including the output head)
- 49 layers: 2 dense + 47 MoE; 256 routed experts, 6 selected per token, plus 1 always-active shared expert
- Attention: 32 query heads, 4 KV heads, head dim 128; per-head QK RMSNorm and learned per-head attention sinks
- 35 sliding-window layers (window 513 tokens, RoPE) + 14 full-attention layers with no positional encoding
- Vocabulary 150,144; context 262,144
Other engines that already run it: llama.cpp (a release with Flint support serves the NVFP4 GGUF, 22.9 GB, declared architecture: flint), and the SGLang serving kit shipped in the HF repo. Once the family lands, the GGUF reader would only need to map arch=flint to it.
- 主要言語
- Python
- スター
- 14.2k
- フォーク
- 1.4k
- 平均マージ
- 21時間 39分
- マージ済み PR(30日)
- 100
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
FlashML-org/FreeToken のほかの issue
-
Desktop feature
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
FlashML-org/FreeToken#800 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
FlashML-org/FreeToken#767 ·
メンテナーはふだん 1 日以内に返信
-
test_gemv_path_matches_the_transcription fails on sm_120 (bf16 rounding tie exceeds the tolerance)対応中かも @void-mckenzie が 16 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 77/100
FlashML-org/FreeToken#649 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
FlashML-org/FreeToken#648 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
FlashML-org/FreeToken#646 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
FlashML-org/FreeToken の issue をすべて見る
似ている issue
-
changelog investigate
難易度 2/5 1〜3時間 初心者へのやさしさ 67/100
ramnes/notion-sdk-py#433 ·
-
docs pkg:core
難易度 1/5 1時間未満 初心者へのやさしさ 84/100
pydantic/pydantic-ai#11929 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
intake/intake-esm#789 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
MemMachine/MemMachine#1877 ·
メンテナーはふだん 3 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
openedx/openedx-authz#579 ·
メンテナーはふだん 1 日以内に返信