Owner

mw00

Zum Folgen anmelden

1 indexiertes Repository · Auf GitHub ansehen

project-maya
Project Maya - run GLM-5.3-Flash (321B MoE) and DeepSeek-V4.1-Flash-1017 (748B MoE) privately on your own GPU(s), from one card to 16, NV...

C++ · 1872 Sterne

Einsteigerfreundlich Alles

Offen Alle

Issues, an denen vielleicht schon jemand arbeitet, stehen am Ende. Alles nach Datum anzeigen

Windows: DeepSeek vision works on v1.1.45 with a pack rebuilt by tools/ds4/vision_pack.py (v1.1.44 crashed the CUDA context on every picture)
Offen
- Stimmt etwas nicht?
Schwierigkeit 2/5 Unter einer Stunde Anfängerfreundlichkeit 8/100

mw00/project-maya#744 · Erstellt am 01.11.2026

Maintainer antworten meist innerhalb von 1 Tag
tools/ds4/slot_keep_test.py does not run on Windows: select() on a pipe fails with WinError 10093 (PeekNamedPipe fallback included)
Offen
- Stimmt etwas nicht?
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100

mw00/project-maya#743 · Erstellt am 01.11.2026

Maintainer antworten meist innerhalb von 1 Tag
Request new Exl3 quant: DSV4.1-Flash-1017-SAGE-EXL3-1.62bpw
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 18/100

mw00/project-maya#740 · Erstellt am 31.10.2026

Maintainer antworten meist innerhalb von 1 Tag
DeepSeek: make the 8 GiB system-RAM budgeting margin configurable
Offen
- Stimmt etwas nicht?
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 45/100

mw00/project-maya#739 · Erstellt am 31.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Windows 11 speed report: MiniMax-M3.1-Flash Maya-S on RTX PRO 6000 Blackwell 96 GB — 48.6 tok/s decode, 757 tok/s prefill (8K)
Offen
- Stimmt etwas nicht?
Schwierigkeit 3/5 Ein halber Tag Anfängerfreundlichkeit 20/100

mw00/project-maya#738 · Erstellt am 31.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Windows 11 speed report: DeepSeek-V4.1-Flash Maya-S on RTX PRO 6000 Blackwell 96 GB — 72.3 tok/s decode, 1757 tok/s prefill (8K)
Offen
- Stimmt etwas nicht?
Schwierigkeit 3/5 Ein halber Tag Anfängerfreundlichkeit 15/100

mw00/project-maya#737 · 4 Kommentare · Erstellt am 31.10.2026

Maintainer antworten meist innerhalb von 1 Tag
[bug] DS4 HIP: reloading DeepSeek fails while copying CPU-lane experts from model files
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 18/100

mw00/project-maya#735 · 1 Kommentar · Erstellt am 31.10.2026

Maintainer antworten meist innerhalb von 1 Tag
TP on two cards: the second card keeps ~1.5-2 GB free — is asymmetric expert residency possible, or is that expected?
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 15/100

mw00/project-maya#734 · Erstellt am 31.10.2026

Maintainer antworten meist innerhalb von 1 Tag
DeepSeek: the automatic layer split balances streamed bytes, not time, so short prompts wait on the slow-link GPUs
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

mw00/project-maya#733 · Erstellt am 31.10.2026

Maintainer antworten meist innerhalb von 1 Tag
DeepSeek: v1.1.42's slow-link ring rule makes fresh prompt reads ~8% slower on 3090s on PCIe 3.0 x8 (#609)
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 34/100

mw00/project-maya#731 · Erstellt am 31.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Windows 11 speed report: RTX PRO 6000 Blackwell 96 GB, Maya-L — 48.8 tok/s decode, 3810 tok/s prefill (8K)
Offen
- Stimmt etwas nicht?
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 15/100

mw00/project-maya#730 · Erstellt am 31.10.2026

Maintainer antworten meist innerhalb von 1 Tag
[bug] TUI stuck at "Loading the model" while engine is loaded and serving
Offen
- Stimmt etwas nicht?
Schwierigkeit 3/5 Ein halber Tag Anfängerfreundlichkeit 35/100

mw00/project-maya#729 · Erstellt am 31.10.2026

Maintainer antworten meist innerhalb von 1 Tag
[bug] loop-guard retry overflows context by (note - slack) -> "reply was cut short" stubs
Offen
- Stimmt etwas nicht?
Schwierigkeit 3/5 Ein halber Tag Anfängerfreundlichkeit 66/100

mw00/project-maya#727 · 2 Kommentare · Erstellt am 31.10.2026

Maintainer antworten meist innerhalb von 1 Tag
[bug]Codex CLI 0.160.0 fails against Maya's Responses API
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

mw00/project-maya#726 · 1 Kommentar · Erstellt am 31.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Let the token-savings ledger live somewhere other than next to --config
Offen
- Stimmt etwas nicht?
Schwierigkeit 3/5 Ein halber Tag Anfängerfreundlichkeit 50/100

mw00/project-maya#724 · Erstellt am 31.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Speed report: GLM-5.3-Flash UD-IQ3_XXS on 2x RTX 4060 Ti 16 GB (PCIe 3.0 x8), and a few side findings
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 6/100

mw00/project-maya#723 · Erstellt am 31.10.2026

Maintainer antworten meist innerhalb von 1 Tag
maya-mm3 GGUF: a changed GPU list silently invalidates the prefill calibration (tune key includes the GPUs) + 2x R9700 chunk measurements
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100

mw00/project-maya#721 · Erstellt am 31.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Speed & benchmark report: Maya-S DeepSeek-V4.1-Flash-1017 on 2× RTX PRO 5000 72GB, engine v1.1.41 with `--parallel 2` — 14h real agent-traffic concurrency soak
Offen
- Stimmt etwas nicht?
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 15/100

mw00/project-maya#719 · Erstellt am 31.10.2026

Maintainer antworten meist innerhalb von 1 Tag
DeepSeek PROMPT_SKIP=2: the 128-row replay attends to window rows from before the replay start (left by earlier requests); masked, it is +37 % on 4K prompts here
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 12/100

mw00/project-maya#718 · Erstellt am 31.10.2026

Maintainer antworten meist innerhalb von 1 Tag
DeepSeek on Linux: Engram reader threads default to 8 on a 16-thread host, and cold prompts read ~21 % faster with 32
Offen
- Stimmt etwas nicht?
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 45/100

mw00/project-maya#716 · 1 Kommentar · Erstellt am 31.10.2026

Maintainer antworten meist innerhalb von 1 Tag
DeepSeek: Unsloth UD-IQ1_M on RTX 4090 D / 128 GB, full RAM, 30.7 tok/s (v1.1.42 + #712 + #682)
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 8/100

mw00/project-maya#713 · Erstellt am 31.10.2026

Maintainer antworten meist innerhalb von 1 Tag
GLM --parallel: keep the turn checkpoints per conversation, so a changed last message does not re-read the conversation
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 15/100

mw00/project-maya#711 · Erstellt am 31.10.2026

Maintainer antworten meist innerhalb von 1 Tag
DS4_COPY_GB doesn't appear to work with EXL3
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 48/100

mw00/project-maya#708 · Erstellt am 30.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Speed report: 2x Quadro RTX 5000 16 GB (Turing, PCIe 3.0), Maya-S v1.1.39, 18.8 tokens/s decode
Offen
- Stimmt etwas nicht?
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 55/100

mw00/project-maya#707 · Erstellt am 30.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Qwen engine: after a client abandons a prompt read, every later request fails with "cancelled" until a restart (one-line fix: clear err per request)
Offen
- Stimmt etwas nicht?
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 86/100

mw00/project-maya#703 · 1 Kommentar · Erstellt am 30.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Sampled decode (temperature > 0) is ~3.5x slower in v1.1.37+ while greedy decode is unaffected
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100

mw00/project-maya#699 · Erstellt am 30.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Speed report: 2x RTX 2080 Ti 22 GB (NVLink, 220 W), Ryzen 7 3700X, 93 GB — GLM Maya-S24 32 tok/s decode; one-chunk prefill runs the halves one after the other
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 30/100

mw00/project-maya#698 · 7 Kommentare · Erstellt am 30.10.2026

Maintainer antworten meist innerhalb von 1 Tag
DeepSeek: the PCIe lane's decode check turned streaming off on an RTX 3090 where it is ~20-40% faster, and the times file keeps it for every later start
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100

mw00/project-maya#697 · Erstellt am 30.10.2026

Maintainer antworten meist innerhalb von 1 Tag
[AMD / v1.1.41 / #592] Dual R9700 exact peer transport works; faster TP2 prefill, layer split still faster for Maya-S abliterated
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100

mw00/project-maya#694 · 1 Kommentar · Erstellt am 30.10.2026

Maintainer antworten meist innerhalb von 1 Tag
ds4 v1.1.40 TP3 with most experts outside VRAM: the last-user-turn restore point adds 1-4 s to most agent turn reads (only the tail point is checked)
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100

mw00/project-maya#693 · 1 Kommentar · Erstellt am 30.10.2026

Maintainer antworten meist innerhalb von 1 Tag
DeepSeek at 1M: queued concurrent requests end with a `window ring` fault; loading takes 20-25 min so `TimeoutStartSec=1200` loops forever
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 48/100

mw00/project-maya#690 · 5 Kommentare · Erstellt am 30.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Speed report: 1x RTX PRO 6000 Blackwell 96 GB + Ryzen 9 9950X3D + 184 GB DDR5 - DeepSeek-V4.1-Flash EXL3 2.9 bpw @ 1M, 60.1 tok/s decode / 875 tok/s prefill (8K) (v1.1.40)
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 48/100

mw00/project-maya#689 · 1 Kommentar · Erstellt am 30.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Speed report: 2x RX 6900 XT (gfx1030, RDNA 2) + 32 GB RAM, GLM-5.3 Maya-S24 works: 7.1 tok/s decode, 95 tok/s prefill
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 38/100

mw00/project-maya#681 · Erstellt am 30.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Speed report: 2x RTX 2080 Ti 22 GB (modded, NVLink), Xeon E5-2686 v4, 247 GB - Maya-M 22 tok/s decode, 533 prefill
Offen
- Stimmt etwas nicht?
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 35/100

mw00/project-maya#675 · Erstellt am 30.10.2026

Maintainer antworten meist innerhalb von 1 Tag
maya-mm3 (MiniMax M3.1 · Maya-XS) crashes with 0xC0000005 on the first request on Windows (RTX 4070 Ti SUPER + RTX 5070 Ti)
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 43/100

mw00/project-maya#672 · 3 Kommentare · Erstellt am 29.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Full GLM-5.3 (glm-dsa) on the GLM engine
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 30/100

mw00/project-maya#661 · 1 Reaktion · Erstellt am 29.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Feature request: cross-model KV-cache handoff (SwaT, arXiv 2610.15095) - start with KV export/import
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 28/100

mw00/project-maya#655 · Erstellt am 29.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Maya-M on 2x RTX 2080 Ti (sm_75): non-finite router score at layer 17/18 on every request
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100

mw00/project-maya#651 · 4 Kommentare · Erstellt am 29.10.2026

Maintainer antworten meist innerhalb von 1 Tag
v1.1.35/36: GLM prefill -43/-53% and DeepSeek prefill -47% with a real (large) max_tokens on a 20 GB card
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100

mw00/project-maya#648 · 4 Kommentare · Erstellt am 29.10.2026

Maintainer antworten meist innerhalb von 1 Tag
2026-10-29: 4x RTX 4090 / DeepSeek-V4.1-Flash IQ2_XXS bounded tuning results (Engram RAM, session cache, native parallelism)
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100

mw00/project-maya#637 · Erstellt am 28.10.2026

Maintainer antworten meist innerhalb von 1 Tag
DSV4 speed report
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100

mw00/project-maya#633 · Erstellt am 28.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Speed report: 2x RTX PRO 6000 96 GB, MiniMax M3.1EXL3 3.5 bpw
Offen
- Stimmt etwas nicht?
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 35/100

mw00/project-maya#610 · 2 Kommentare · Erstellt am 28.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Qwen3.8-Flash-Next (CYBER-FROST) decodes ~40% slower on Maya than on Strata 0.2.7 with the same weights: the Qwen engine is still 0.1.27 (last synced from Strata 0.1.41, v1.0.13)
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100

mw00/project-maya#604 · Erstellt am 28.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Benchmark: 4x RTX 3090, GLM-5.3 Maya-M + DFlash2, 262K context, v1.1.32 — 116 tok/s decode, 1909-2490 tok/s prefill (2nd 4x3090 row for the table)
Offen
- Stimmt etwas nicht?
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 25/100

mw00/project-maya#579 · 2 Kommentare · 1 Reaktion · Erstellt am 27.10.2026

Maintainer antworten meist innerhalb von 1 Tag
MiniMax-M3.1-Flash at its original precision on maya-mm3: Unsloth's "UD-Q8_K_XL" GGUF holds the original NVFP4 experts (no 8-bit tensors at all), and AMD's MXFP4 checkpoint uses the format maya-ds4 already runs
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100

mw00/project-maya#559 · Erstellt am 27.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Not fill the full VRAM with DSpark on 4x rtx 3090 (Minimax 3.1 flash + DeepSeek V4.1 flash 1017)
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100

mw00/project-maya#556 · 4 Kommentare · Erstellt am 27.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Opt-in output and tool-call filter (blocked strings) for both engines - a mitigation suggestion, open for discussion
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100

mw00/project-maya#531 · Erstellt am 26.10.2026

Maintainer antworten meist innerhalb von 1 Tag
ds4: the drafter's routes are never counted in the expert profile, so its experts are always placed "as room goes" (TP 2 + DSpark leaves ~4.5 GiB idle on the second GPU)
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100

mw00/project-maya#501 · 2 Kommentare · Erstellt am 26.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Speed report: 10x RTX 3090 (TP2) + 64 GB — DeepSeek-V4.1-Flash-1017 EXL3 2.9 bpw: 97 tok/s decode, 1,900–2,390 tok/s prefill, 1M context (v1.1.28)
Offen
- Stimmt etwas nicht?
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 35/100

mw00/project-maya#494 · 5 Kommentare · Erstellt am 25.10.2026

Maintainer antworten meist innerhalb von 1 Tag
DeepSeek-V4.1-Flash Maya-XS on Strix Halo (gfx1151, Linux): ~0.1 tok/s decode, q8_mv_kernel and iq1 expert kernels ~100x too slow
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100

mw00/project-maya#491 · 1 Kommentar · Erstellt am 25.10.2026

Maintainer antworten meist innerhalb von 1 Tag

mw00

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Neue Issues direkt in Ihr Postfach