Hacktoberfest 2026: the issues maintainers tagged for October, open and beginner-friendly. Browse Hacktoberfest issues

측정: MoE 모델의 검증 pass 비용 r(m) = pass(m)/pass(1), lookup draft 폭과 expert 묶기를 정함

Open
  • Is something wrong?
#32 4 comments 0 reactions 0 assignees View on GitHub

Maintainers usually reply within 1 day

@juliankang4 is already working on this.

Since Oct 11, 2026.

Assessment

Difficulty
4/5
Estimated time
3-5 days
Newbie friendliness
45/100
Issue type
Feature
Clarity
Mostly clear
Activity status
Active
Tech stack
rust
Domain
machine-learning, performance

Research direction

Build llama.cpp with the benchmark tool and run llama-bench -p 1,2,4,8,16 -n 0 on Qwen3-30B-A3B and Qwen3.6-35B-A3B, recording GPU, quantization, and build number. Calculate r(m) from the prompt-processing throughput; if hardware and time allow, also compare lookup draft acceptance across prompt types and widths. Report the measurements and use r(8) to assess whether expert batching meets the stated 1.25 threshold.

Written by the indexing model from the issue text.

Description

hardware help wanted

speculative decoding에서 draft가 낸 m개 위치를 한 pass로 검증하는 비용이 1위치 pass의 몇 배인지, MoE 모델에서 재 주세요. r(m) = pass(m) / pass(1)입니다. dense 모델은 r(m)이 1에 가깝지만, MoE는 위치가 늘면 건드리는 expert가 늘어 r(m)이 커집니다.

이 값이 두 가지를 정합니다.

  1. lookup draft의 블록 폭: prompt에 이미 있는 문장을 한 번에 w토큰씩 제안할 때, 받아들여진 위치 증가가 r(w)보다 큰 폭만 씁니다. 지금 우리 lookup draft는 1토큰 폭입니다.
  2. 검증 m행의 expert 묶기: r(8) ≥ 1.25면 Qwen3 계열 draft에서 expert 묶기를 설계합니다. [유도] 값으로는 m = 8에서 routed 바이트가 Qwen3-30B −19 %, Qwen3.6 −10 %입니다.
  • 할 일: llama.cpp llama-bench -p 1,2,4,8,16 -n 0을 Qwen3-30B-A3B와 Qwen3.6-35B-A3B(가능하면 Qwen3.8도)에서 돌립니다. pass(m) = m / (pp tok/s at m)로 r(m)을 계산합니다. 가능하면 같은 파일로 lookup 예제를 복사가 많은 prompt(문서 요약, 코드 수정)에 돌려 폭별 평균 수락 위치도 함께.
  • 하드웨어: 모델이 카드에 다 올라가는 24 GB 이상 카드나 DGX Spark. GPU 이름, 양자화, llama.cpp 빌드 번호를 함께 적어 주세요.
  • 이 값은 우리 엔진이 아니라 llama.cpp의 r(m)이라 대리값입니다. 설계의 출발점으로만 씁니다.

작업을 맡으실 분은 댓글로 알려 주세요. AI로 편하게 쓰셔도 됩니다(CONTRIBUTING.ko.md).

Dominant language
Rust
Stars
21
Forks
4
Avg merge
5h 7m
Merged PRs (30d)
16

Getting set up

First steps

  1. Read the whole issue, then the project's contributing guide.
  2. Comment on the issue to say you are picking it up — it saves two people doing the same work.
  3. Fork the repository and make your change on a branch.
  4. Open a pull request that references the issue number.

More from midagedev/bloomery

All issues in midagedev/bloomery

Similar issues

More Rust issues

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.