Chủ sở hữu

ashhart

Đăng nhập để theo dõi

Đã lập chỉ mục 1 kho mã nguồn · Xem trên GitHub

TensorFold
Fast, exact LLM decoding on Apple Silicon (MLX) behind an OpenAI-compatible endpoint

Python · 995 star

Phù hợp cho người mới Tất cả

Đang mở Tất cả

Các issue có thể đã có người làm được xếp cuối danh sách. Sắp xếp tất cả theo ngày

CUDA health/metrics report device memory but not pinned host memory
Đang mở
- Có gì không ổn?
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 62/100

ashhart/TensorFold#538 · Mở ngày 9/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
CHANGELOG/RUNBOOK list CUDA sampled-path gaps (seed, top_k:0) that verify as fixed at v1.0.2 on the CLI path — clarify remaining scope
Đang mở
- Có gì không ổn?
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 35/100

ashhart/TensorFold#537 · Mở ngày 9/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Qwen3.5 native decode on the 27B: what bounds the projection kernel, and the FP32 family (parked)
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 8/100

ashhart/TensorFold#527 · 4 bình luận · Mở ngày 8/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Proposal: an Intel GPU (Level Zero) backend, starting with Nemotron 3.5 Lightning on Intel Arc
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 8/100

ashhart/TensorFold#522 · Mở ngày 8/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Flash Next TP2: hostWait can spin indefinitely when a prefill handoff never arrives
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 22/100

ashhart/TensorFold#512 · Mở ngày 8/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Python Qwen vision: literal <|image_pad|> in ordinary text is mistaken for an image slot
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 42/100

ashhart/TensorFold#511 · 1 bình luận · Mở ngày 8/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
v0.6.6 ：Prefix caching is permanently broken if the context contains images
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100

ashhart/TensorFold#510 · Mở ngày 8/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
--learn: no free-disk floor, so a full disk makes each new session retry a full learned-state write
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

ashhart/TensorFold#508 · Mở ngày 8/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Cross-request prefix retention for the native Qwen3.5 engine
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

ashhart/TensorFold#505 · Mở ngày 8/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Q8 KV cache precision mode for the Qwen3.5 dense engine
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

ashhart/TensorFold#504 · Mở ngày 8/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Geometry-general native Qwen3.5 dense loader
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

ashhart/TensorFold#503 · Mở ngày 8/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Native engine: GLM-5.3-Flash on one 256 GB Mac - the fixed 70% load limit misses by 1.4 GB
Đang mở
- Có gì không ổn?
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 68/100

ashhart/TensorFold#498 · 1 bình luận · Mở ngày 8/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Metal trellis (EXL3) decoder for the native Qwen3.5 dense engine
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

ashhart/TensorFold#494 · Mở ngày 8/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Zig ROCM: RDNA2/3 and more integration
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

ashhart/TensorFold#491 · 1 bình luận · 1 reaction · Mở ngày 7/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Zig CUDA: Kolibri-1 (kolibri1), block-FP8
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 1/100

ashhart/TensorFold#481 · Mở ngày 7/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
DeepSeek-V4.1-Flash at TP=4 on 4x DGX Spark: a tuning log (where we started, what worked, what didn't, findings) — input for CUDA and the Zig server
Đang mở
- Có gì không ổn?
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 35/100

ashhart/TensorFold#479 · 1 bình luận · Mở ngày 7/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Dense NVIDIA Qwen3.8 NVFP4 native vision: tested Python 0.6.0 compatibility patch and reproducer
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

ashhart/TensorFold#474 · 1 bình luận · Mở ngày 7/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Xcode Claude Code support breaks
Đang mở
- Có gì không ổn?
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 64/100

ashhart/TensorFold#471 · Mở ngày 7/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
fix(server): invalid draft-policy string returns HTTP 500 instead of 400
Đang mở
- Có gì không ổn?
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 68/100

ashhart/TensorFold#470 · Mở ngày 7/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
CUDA Flash Next: prefix cache stops matching at 3 or more concurrent requests; one-token throughput drops by 60 %
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 52/100

ashhart/TensorFold#459 · 1 bình luận · Mở ngày 6/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Flash Next prompt attention on M5 (tf_sattn_nax): fp16 P·V lands closer to fp32 than fp32 P × bf16 V; a same-input A/B
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

ashhart/TensorFold#457 · 1 bình luận · Mở ngày 6/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Metal: the first prompt after a few seconds idle waits up to ~1.5 s more; a tiny GPU op every 0.5 s removes it (measured on 0.6.5)
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 62/100

ashhart/TensorFold#456 · 1 bình luận · Mở ngày 6/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Native Metal runtime rejects uint4b_format on macOS 26.3
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 55/100

ashhart/TensorFold#451 · 1 bình luận · Mở ngày 6/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Decision APIs: logprobs with reasoning on — reference implementation for 0.6.5, input for the Zig server
Đang mở
- Có gì không ổn?
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 66/100

ashhart/TensorFold#449 · 2 bình luận · Mở ngày 6/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
CUDA Flash Next: rope scaling (YaRN) beyond the native 262,144 tokens — input for the Zig server
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 32/100

ashhart/TensorFold#448 · 2 bình luận · Mở ngày 6/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
CUDA Flash Next (0.6.5): cold prefill ~1.4-1.5× slower than vLLM on the same NVFP4 checkpoint — input for the Zig server
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 38/100

ashhart/TensorFold#447 · 2 bình luận · Mở ngày 6/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Qwen3.8-Flash-Next (EXL3 3.05bpw) on TensorFold v0.6.5, plus a prompt-lookup drafter
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 32/100

ashhart/TensorFold#444 · 8 bình luận · Mở ngày 6/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
[GLM CUDA] GLM-5.3 Flash EXL3 emits byte-fallback mojibake on a fixed fixture
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100

ashhart/TensorFold#442 · 2 bình luận · Mở ngày 6/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Kolibri 1 (MLX): shared multi-stream forwards are not bit-exact, so streams take turns
Có thể làm lại được Pull request cho issue này đã bị đóng mà không được merge. Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

ashhart/TensorFold#434 · 3 bình luận · Mở ngày 5/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Proposal: Fast startup by repacking model at import/initial launch
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

ashhart/TensorFold#428 · 3 bình luận · Mở ngày 5/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Proposal: native Zig HIP backend and Qwen27B GGUF qualification on gfx1151
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

ashhart/TensorFold#426 · 10 bình luận · 1 reaction · Mở ngày 5/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
GLM CUDA engine: `_take_over` clones every kept snapshot it is about to drop, so reserved memory spikes by about 15 GiB per rank when a new conversation follows a long one
Có thể làm lại được Pull request cho issue này đã bị đóng mà không được merge. Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

ashhart/TensorFold#420 · 2 bình luận · Mở ngày 5/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Flash Next CUDA two-rank decode: split_k's target is prompt-shaped, and the shapes a decode actually issues
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100

ashhart/TensorFold#417 · 2 bình luận · Mở ngày 5/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
CUDA Flash Next: one image in an agent chat makes every later turn re-prefill the whole conversation (~190k tokens, cached_tokens=0)
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100

ashhart/TensorFold#414 · 4 bình luận · Mở ngày 5/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
ROCm on RDNA4 (gfx1201, Radeon AI PRO R9700): a proposed stack on top of #144
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

ashhart/TensorFold#412 · 6 bình luận · Mở ngày 5/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Proposal: optional Mojo kernels for the ROCm decode path (R9700: 6.6–10.5% faster decode, same bits)
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

ashhart/TensorFold#406 · 4 bình luận · Mở ngày 5/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Full GLM-5.3 (`glm_moe_dsa`) on three DGX Sparks, as layers of the GLM-5.3-Flash CUDA engine: how should it sit beside #159?
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

ashhart/TensorFold#402 · 2 bình luận · Mở ngày 4/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
CUDA glm5_next (TP / --parallel): kept prompt states never use the conversation spill tier (--spill-gib / --snapshot-dir are MLX-only and silently ignored)
Có thể làm lại được Pull request cho issue này đã bị đóng mà không được merge. Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100

ashhart/TensorFold#373 · 3 bình luận · Mở ngày 4/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Feature request: batch SSD n-gram gathers across concurrent Flash Next requests
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 54/100

ashhart/TensorFold#368 · 6 bình luận · Mở ngày 4/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
feat(vision): enable --vision for qwen3_5_moe (Qwen3.6-35B-A3B) on CUDA
Có thể làm lại được Pull request cho issue này đã bị đóng mà không được merge. Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

ashhart/TensorFold#366 · 2 bình luận · Mở ngày 4/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
GLM-5.3-Flash on CUDA: let a long prefill wait between chunks while any rank runs hot
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

ashhart/TensorFold#339 · 2 bình luận · Mở ngày 4/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Flash Next CUDA `--parallel`: a growing conversation recaptures the lone-stream graphs at every context bucket and slot resize (single-stream decode −25…−60 % on those turns)
Có thể làm lại được Pull request cho issue này đã bị đóng mà không được merge. Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

ashhart/TensorFold#336 · 2 bình luận · Mở ngày 4/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Gemma 4 on Macs: the dense 31B, the 12B (`gemma4_unified`) with its MTP assistant, and oQ mixed widths?
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

ashhart/TensorFold#322 · 1 bình luận · Mở ngày 3/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
CUDA: may the bf16 head (b16) decode on the mma for K % 64 == 0? It changes the head's sum order
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

ashhart/TensorFold#321 · 2 bình luận · Mở ngày 3/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Flash Next (MLX 4-bit + MTP) on a single DGX Spark: v0.6.4 decodes ~24% slower than v0.6.3, with a single stream
Có thể làm lại được Pull request cho issue này đã bị đóng mà không được merge. Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

ashhart/TensorFold#317 · 13 bình luận · Mở ngày 3/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Invoking vision will slow down the request.
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100

ashhart/TensorFold#314 · 1 bình luận · Mở ngày 3/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Volta (sm_70) follow-ups to #264: NVFP4 checkpoints, Qwen3.6 MoE, two and four ranks
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100

ashhart/TensorFold#313 · 1 bình luận · Mở ngày 3/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Laguna-S-2.1 (poolside) on Macs: a `laguna` family with DFlash drafts?
Có thể làm lại được Pull request cho issue này đã bị đóng mà không được merge. Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

ashhart/TensorFold#312 · 1 bình luận · Mở ngày 3/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
CUDA on Ampere (sm_80 / sm_86): bf16 kernels from 8.0, FP8 kept at 8.9 — would you take it?
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

ashhart/TensorFold#311 · 1 bình luận · 2 reaction · Mở ngày 3/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
GLM-5.3-Flash on CUDA over three ranks (`--tp 3`): how it should sit beside #159, the communicator interface and #243
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

ashhart/TensorFold#310 · 5 bình luận · Mở ngày 3/10/2026

Maintainer thường phản hồi trong vòng 1 ngày

ashhart

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Nhận issue mới trong hộp thư của bạn