JustVugg: proyectos de código abierto

[datapoint] Tesla P40 Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100

JustVugg/colibri#1718 · Abierto el 23/9/2026

Ternary weight formats (~1.75-2.13 bpw): in scope? and how to handle the GGUF/safetensors gap Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

JustVugg/colibri#1703 · 2 comentarios · Abierto el 23/9/2026

[Feature]: Continue interrupted assistant responses in web chat Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 68/100

JustVugg/colibri#1699 · 1 comentario · Abierto el 23/9/2026

[Feature]: close the OpenAI-API compatibility gap in `c/openai_server.py`, in value tiers Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 28/100

JustVugg/colibri#1698 · 1 comentario · Abierto el 23/9/2026

[Performance]: DeepSeek V4 on Apple Silicon (CPU path): prefill runs at decode speed, 1.3–1.75 prompt tok/s — 577-token prompt = 6 min TTFT Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

JustVugg/colibri#1696 · 4 comentarios · Abierto el 22/9/2026

[Feature]: Disaggregated prefill Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

JustVugg/colibri#1672 · 1 comentario · Abierto el 22/9/2026

[Feature]: Add support for MiMo V2.6 Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100

JustVugg/colibri#1661 · 2 comentarios · 9 reacciones · Abierto el 21/9/2026

[datapoint] Qwen3.6-35B-A3B on Tesla M10 Abierto

benchmark

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

JustVugg/colibri#1652 · 8 comentarios · Abierto el 21/9/2026

[Experiment] Routing-count coldness badly overestimates expert prunability — OLMoE int8, M5 Pro, a8f2ca6 Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

JustVugg/colibri#1621 · 3 comentarios · Abierto el 19/9/2026

[Performance]: macOS planner trusts `free + inactive`, but the kernel compresses the expert cache — 32 GiB budget is slower than 16 GiB on a 48 GB Mac Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

JustVugg/colibri#1614 · 3 comentarios · Abierto el 18/9/2026

[Feature]: heterogeneous 3-lane MoE scheduling, wall-clock telemetry & routing-history improvements (from the Peregrine prototype) Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 28/100

JustVugg/colibri#1609 · 3 comentarios · Abierto el 18/9/2026

coli serve: RAM auto-detect returns 0.0 GB and silently falls back to a tiny expert cache (no warning) Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 68/100

JustVugg/colibri#1601 · 1 comentario · Abierto el 18/9/2026

Vulkan is never torn down: no engine calls coli_vk_shutdown (Metal is, in kimi_k3) Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

JustVugg/colibri#1570 · 1 comentario · Abierto el 16/9/2026

[EXPERIMENT] Host-RAM residency is worth 31% of a turn — and it is the ceiling a V4.1 GPU expert tier would be chasing Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100

JustVugg/colibri#1525 · 1 comentario · Abierto el 15/9/2026

[EXPERIMENT] Hypothesis #2 holds, and my first attempt said otherwise for a reason that had nothing to do with drives Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

JustVugg/colibri#1523 · 1 comentario · Abierto el 14/9/2026

[EXPERIMENT] The OpenMP team is the whole ballgame on a many-core host: 14x on V4.1, from a call four engines already make Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

JustVugg/colibri#1518 · 2 comentarios · Abierto el 14/9/2026

Experiment report: GLM-5.2 on AMD Strix Halo (Ryzen AI MAX+ 395, 128 GB unified) — 0.26-0.38 tok/s, CPU-bound not disk-bound, and the Vulkan expert tier double-counts unified memory Abierto

benchmark bug performance vulkan

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

JustVugg/colibri#1502 · 13 comentarios · 1 reacción · Abierto el 14/9/2026

[Bug]: GPU doesn't engage Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 42/100

JustVugg/colibri#1498 · 3 comentarios · Abierto el 14/9/2026

[Feature]: Provide the necessary Windows coli_cuda.dll files or update instructions to build them Abierto

cuda feature

Dificultad 4/5 3-5 días Aptitud para principiantes 50/100

JustVugg/colibri#1405 · 20 comentarios · Abierto el 9/9/2026

Perplexity vs Ollama's Q4_K_M on the same tokens: our int4 experts lose 2.5–3.4 %, the int8 trunk buys nothing — two questions about the format Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 28/100

JustVugg/colibri#1370 · 3 comentarios · Abierto el 6/9/2026

DeepSeek V4 has no Metal path — measured 5.05x TTFT / 2.81x tok/s gap on Apple Silicon Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 38/100

JustVugg/colibri#1309 · 3 comentarios · Abierto el 31/8/2026

[Feature]: A universal tool for all models Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

JustVugg/colibri#1240 · 6 comentarios · Abierto el 26/8/2026

Offer: PILOT benchmarks on a compute/disk-balanced machine (8GB VRAM / 16GB RAM) Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 55/100

JustVugg/colibri#1149 · 2 comentarios · Abierto el 20/8/2026

[Discussion] Upstreaming the #161 CUDA stack: attention is now 80% of resident-host decode, and the 2.4→11.1 line deserves a continuation Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100

JustVugg/colibri#1140 · 3 comentarios · 1 reacción · Abierto el 20/8/2026

[EXPERIMENT] Prompt-semantic Atlas cluster pinning for cold-start prefetch — pre-registered A/B (README hypothesis row 1) Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 28/100

JustVugg/colibri#1078 · 7 comentarios · Abierto el 18/8/2026

[perf] olmoe: O(cap) eviction scan under g_pilot_mx makes tok/s non-monotonic in cache size Abierto

good first issue performance

Dificultad 4/5 3-5 días Aptitud para principiantes 52/100

JustVugg/colibri#1050 · 7 comentarios · Abierto el 16/8/2026

Proposal: opt-in HQQ 5-bit AXIS=0 MoE weights — −25% bytes, +36% E2E on disk-bound hardware, quality within +2.4% ppl of int8 Abierto

enhancement performance quality

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

JustVugg/colibri#1009 · 2 comentarios · Abierto el 14/8/2026

HQQ grouping axis is a functional property, not just a size trade-off: AXIS=1 costs +9% ppl where AXIS=0 costs +2.4%, at equal weight-MSE Abierto

benchmark discussion quality

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

JustVugg/colibri#1008 · 2 comentarios · Abierto el 14/8/2026

Proposal: optional expert cache warmup — pre-warm page cache + hot experts before the first request Abierto

enhancement performance

Dificultad 5/5 Más de una semana Aptitud para principiantes 42/100

JustVugg/colibri#1007 · 2 comentarios · Abierto el 14/8/2026

[Feature]: Add support for dots-studio/dots3-note-prev Abierto

feature model-support

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

JustVugg/colibri#1004 · 1 comentario · Abierto el 14/8/2026

[Feature]: Add support for Mistral Large 3 Abierto

feature model-support

Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100

JustVugg/colibri#972 · 3 comentarios · Abierto el 12/8/2026

[DRAFT] [Feature]: Port to RUST for custom baremetal Kernel Abierto

discussion

Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100

JustVugg/colibri#938 · 4 comentarios · 2 reacciones · Abierto el 11/8/2026

# [Feature] Metal: tiled tensor-ops prefill GEMM — int8 tensor ops now (26.5: W4A8/W8A8), fp8-native next (macOS 27) — and routed experts are still CPU at prefill Abierto

feature hardware-owner-needed metal performance

Dificultad 5/5 Más de una semana Aptitud para principiantes 32/100

JustVugg/colibri#918 · 1 comentario · Abierto el 10/8/2026

Per-matrix bit allocation: W_down is the fragile matrix (HQQ vs RTN map, OLMoE) Abierto

benchmark discussion quality

Dificultad 5/5 Más de una semana Aptitud para principiantes 28/100

JustVugg/colibri#883 · 3 comentarios · Abierto el 7/8/2026

Four different bandwidths for one disk: a metrology cautionary tale Abierto

benchmark discussion docs help wanted

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

JustVugg/colibri#867 · 3 comentarios · Abierto el 6/8/2026

Prefetch-predictor ceiling from fp16 borderline flips (re: PILOT accuracy) Abierto

discussion performance

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

JustVugg/colibri#866 · 4 comentarios · Abierto el 6/8/2026

OLMoE has no hot expert zone (counter-datapoint for pinned hot-store policies) Abierto

benchmark discussion performance

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

JustVugg/colibri#864 · 5 comentarios · Abierto el 6/8/2026

The learned partial mirror is GLM-only, and Kimi K3 is the model that needs it most Abierto

enhancement model-support performance

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

JustVugg/colibri#812 · 1 comentario · Abierto el 3/8/2026

Intel Optane Storage on PMEM 100 or PMEM 200 Abierto

discussion hardware-owner-needed performance

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

JustVugg/colibri#797 · 3 comentarios · Abierto el 2/8/2026

KV cache is stored in fp32 and kvb_all materialises the decompressed K/V (x3.2 vs llama.cpp) Abierto

enhancement performance quality

Dificultad 5/5 Más de una semana Aptitud para principiantes 45/100

JustVugg/colibri#768 · 5 comentarios · Abierto el 2/8/2026

[Feature]: nvme to gpu (nvfp4) or nvme + ram to gpu (nvfp4) Abierto

cuda feature performance

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

JustVugg/colibri#734 · 2 comentarios · Abierto el 31/7/2026

[Experiment] expert-transition-history placement policy vs gate-momentum — controlled A/B for hypothesis #1 Abierto

discussion enhancement help wanted performance

Dificultad 5/5 Más de una semana Aptitud para principiantes 38/100

JustVugg/colibri#708 · 11 comentarios · Abierto el 30/7/2026

[Bug]: deep speculative verify batches are not token-exact vs CPU on CUDA (near-tie flips + lower draft acceptance) Abierto

bug cuda quality

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

JustVugg/colibri#689 · 11 comentarios · Abierto el 29/7/2026

I trained a small model for this engine from scratch, anyone can use it Abierto

discussion

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

JustVugg/colibri#683 · 4 comentarios · 2 reacciones · Abierto el 29/7/2026

[Feature]: Lossless entropy compression for streamed expert traffic (transport layer, any container) Abierto

feature

Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100

JustVugg/colibri#594 · 17 comentarios · Abierto el 24/7/2026

RDNA2 (gfx1030) field report: AMD backend works; greedy decode not token-stable across mixed CPU/GPU expert tiers Abierto

hardware-owner-needed vulkan

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

JustVugg/colibri#510 · 6 comentarios · Abierto el 22/7/2026

[Feature]: external draft-model hook (DeepSpec/DSpark-style sequential drafts) to raise acceptance on disk-bound hosts Abierto

feature

Dificultad 5/5 Más de una semana Aptitud para principiantes 42/100

JustVugg/colibri#494 · 3 comentarios · Abierto el 21/7/2026

[Performance]: hot-path float reductions are scalar and don't auto-vectorize (router matmul + MLA-absorb attention) Abierto

performance

Dificultad 5/5 Más de una semana Aptitud para principiantes 42/100

JustVugg/colibri#442 · 3 comentarios · Abierto el 19/7/2026

[Performance]: PILOT prefetch runs at NVMe queue-depth 1, and DIRECT=1 re-reads WILLNEED-prefetched pages Abierto

performance

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

JustVugg/colibri#441 · 12 comentarios · Abierto el 19/7/2026

decode pays ~54 ms/token in CUDA API choreography (1,490 launches + 240 syncs) — plan: device router → indirect kernels → one-graph decode Abierto

cuda performance

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

JustVugg/colibri#431 · 5 comentarios · Abierto el 19/7/2026

JustVugg

Recibe los nuevos issues en tu correo