Question: should MCU-scale language runtimes have a Tiny benchmark category?
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 20/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- c
調査の方向性
提案されている Engram ベンチマークのギャップと、リンクされている Alpha-Guardian/Engram リポジトリをレビューし、まずここで説明されているホストのベンチマーク能力とボードの実行モードの違いから始める。完了条件は、制約付きで監査可能な MCU 上での言語タスク実行を、将来の MLCommons Tiny ベンチマークカテゴリに含めるべきか、または対象外とするべきかについて、メンテナーが判断することである。
索引モデルが issue の本文から書いたものです。
説明
Hi MLCommons Tiny folks,
I wanted to share a small but unusual MCU language-runtime experiment and ask whether systems like this suggest a benchmark gap in the current Tiny landscape.
We built a public demo line called Engram and deployed it on a commodity ESP32-C3.
Current public numbers:
-
Host-side benchmark capability
LogiQA = 0.392523IFEval = 0.780037
-
Published board proof
LogiQA 642 = 249 / 642 = 0.3878504672897196host_full_match = 642 / 642- runtime artifact size =
1,380,771 bytes
Important scope note:
This is not presented as unrestricted open-input native LLM generation on MCU.
The board-side path is closer to a flash-resident, table-driven runtime with:
- packed token weights
- hashed lookup structures
- fixed compiled probe batches
- streaming fold / checksum style execution over precompiled structures
So this is not a standard vision/KWS/anomaly micro model. It is closer to a task-specialized language runtime whose behavior has been pushed into a very compact executable form.
Repo:
https://github.com/Alpha-Guardian/Engram
What I’m genuinely curious about is whether systems like this point to a missing benchmark category in the TinyML / MCU benchmark ecosystem.
Would something like the following make sense as a future benchmark direction?
- constrained language-task execution
- auditable board-measured language behavior
- fixed-memory / fixed-artifact board deployment
- explicit separation between host benchmark capability and board execution mode
If people here think this is out of scope for MLCommons Tiny, that would also be useful to know.
- 主要言語
- C
- スター
- 482
- フォーク
- 116
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
mlcommons/tiny のほかの issue
-
難易度 1/5 1時間未満 初心者へのやさしさ 68/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 45/100
-
難易度 1/5 1時間未満 初心者へのやさしさ 35/100
-
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
-
Test harness mandatory?再び着手できるかも @jeremy-syn が 740 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 77/100
メンテナーはふだん 8 日以内に返信
-
native-cpu: -Wreturn-type in skainet_row_threads.c:150 (worker fn has no return)対応中かも @Doomguy-BFG9000 が今日担当しました。 オープンgood first issue size:xs skill:native
難易度 1/5 1時間未満 初心者へのやさしさ 78/100
SKaiNET-developers/SKaiNET#1358 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
I/O internal correctness medium priority rt_lib
難易度 2/5 1〜3時間 初心者へのやさしさ 79/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 64/100
libsdl-org/SDL#16539 ·
メンテナーはふだん 1 日以内に返信
-
git-workflow task-4
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100