Propietario

cactus-compute

3 repositorios indexados · Ver en GitHub

needle
Automation foundation model for tiny devices: 2-bit, 8-29 MB, tool calls, structured extraction and embeddings on phones, wearables, smar...

Python · 11698 estrellas
cactus
Quantization, kernels, runtime and inference engine for mobiles, wearables, smart home and robots.

C++ · 6033 estrellas
cactus-hybrid
On-device models that know when they're wrong: every answer carries a confidence score for cloud handoff.

Shell · 267 estrellas

Para principiantes Todo

Abierto Todos

3.0.5 fresh install fails: engine 3.0.2 wheels not on HF Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100

cactus-compute/needle#142 · Abierto el 23/9/2026
SIGILL in cactus_multiply_f16 (fp16 SIMD) on arm64 CPUs without FEAT_FP16 / asimdhp — crashes in Silero VAD during streaming transcribe Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

cactus-compute/cactus#815 · Abierto el 23/9/2026
CLI help still advertises finetune --layers, but finetune parser has no --layers Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100

cactus-compute/needle#139 · Abierto el 23/9/2026
How to embed needle3 in an Android (JNI) app? cactus_init wants bundle dir, HF has only needle3.cact Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

cactus-compute/cactus#813 · 1 comentario · Abierto el 22/9/2026
[Bug] Needle HTTP server (--serve) KV cache state persistence ignores /reset and returns sticky/stale responses Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

cactus-compute/needle#136 · 2 comentarios · Abierto el 20/9/2026
Use Case" Media Player Controls Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

cactus-compute/needle#133 · 4 comentarios · Abierto el 19/9/2026
RFC: native MLX training backend for `needle finetune` on Apple Silicon Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100

cactus-compute/needle#128 · 5 comentarios · 3 reacciones · Abierto el 16/9/2026
[native CLI] `needle --serve` hangs in `needle_complete` spin loop on first /complete request Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

cactus-compute/needle#115 · 2 comentarios · 1 reacción · Abierto el 8/9/2026
BPE byte-level mapping: byte 0xAD mapped to identity instead of U+0143 (GPT-2 bytes_to_unicode) — CJK chars containing 0xAD tokenize to <unk> Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100

cactus-compute/cactus#806 · Abierto el 2/9/2026
Non-ASCII input corrupted: Python binding escapes to \uXXXX (ensure_ascii) and the engine never decodes it Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 25/100

cactus-compute/cactus#803 · Abierto el 2/9/2026
v2.1.0: cactus_complete with an image never returns — Metal backend deadlocks in waitUntilCompleted during chunked media prefill (macOS + iOS) Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

cactus-compute/cactus#802 · 1 reacción · Abierto el 1/9/2026
main fails to compile: duplicate nested 'namespace GraphFile' in cactus-graph/src/io.cpp (introduced by #794) Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 58/100

cactus-compute/cactus#801 · 3 comentarios · Abierto el 1/9/2026
16KB page size Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

cactus-compute/cactus#798 · Abierto el 24/8/2026
cactus-android AAR (1.4.3-beta) cannot load currently published HF model weights (CACT weight format mismatch) Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 38/100

cactus-compute/cactus#795 · Abierto el 22/8/2026
Shared weights are mmap'd once per component graph Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 38/100

cactus-compute/cactus#793 · 2 comentarios · Abierto el 18/8/2026
Proposal: add an x86_64 portability baseline Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 45/100

cactus-compute/cactus#789 · 1 comentario · Abierto el 14/8/2026
Repository clone is over 1 GB due to generated binaries in history Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

cactus-compute/cactus#786 · 3 comentarios · Abierto el 14/8/2026
RN Android indexAdd skips the input validation iOS performs — ragged embeddings cause an out-of-bounds read Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 72/100

cactus-compute/cactus#781 · 1 comentario · Abierto el 11/8/2026
transcribe() returns degenerate repeated tokens instead of speech — whisper-small, Android arm64 Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

cactus-compute/cactus#780 · 1 comentario · Abierto el 9/8/2026
Long-context KeyDiff KV-cache compaction crashes with EXC_BAD_ACCESS in cactus::kvcompress::rerope_recent_int8 (multi-turn session, ~900 decode tokens) Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

cactus-compute/cactus#777 · 1 comentario · Abierto el 28/7/2026
Three-way routing between E2B/E4B or Qwen3.5 4B/9B, 28B-A4B or Qwen3.5B-35B-A3B, and Cloud Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100

cactus-compute/cactus-hybrid#3 · 1 comentario · 1 reacción · Abierto el 23/7/2026
parse_messages_json is key-order-sensitive: `{"content":…,"role":…}` silently generates from an empty user turn Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100

cactus-compute/cactus#772 · 3 comentarios · Abierto el 20/7/2026
iOS/macOS xcframework: `import cactus` fails as shipped — bundled cactus_engine.h includes cactus_graph.h, which is not in the framework Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100

cactus-compute/cactus#771 · 1 comentario · Abierto el 20/7/2026
Finetuned Needle checkpoint converts to a CQ4 bundle that emits token garbage (stock converts fine) Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

cactus-compute/cactus#767 · 1 comentario · Abierto el 15/7/2026
feat/ques: multi-turn tool calling Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

cactus-compute/needle#37 · 6 reacciones · Abierto el 13/7/2026
fix: resolve Python FFI buffer limits and single-quote escaping in tool calling Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 58/100

cactus-compute/cactus#760 · 1 comentario · Abierto el 11/7/2026
Contrastive Head Not Working Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 52/100

cactus-compute/needle#34 · 4 comentarios · Abierto el 10/7/2026
`parse_messages_json` drops a message's `content` when the JSON key order is `content` before `role` Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100

cactus-compute/cactus#757 · Abierto el 9/7/2026
كيف تحافظ على كفاءة جهاز تنقية الهواء لسنوات؟ Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 1/100

cactus-compute/cactus#753 · 1 comentario · Abierto el 9/7/2026
Does past conversations can't delete？ Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

cactus-compute/cactus#751 · Abierto el 4/7/2026
How to reproduce the Needle benchmark numbers on Cactus? Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

cactus-compute/cactus#749 · Abierto el 1/7/2026
How to reproduce the Needle benchmark numbers on Cactus? Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 45/100

cactus-compute/needle#33 · Abierto el 30/6/2026
Go bindings? Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

cactus-compute/cactus#720 · 1 comentario · Abierto el 12/6/2026
Gemma4 tool-calling emits declaration-format echoes instead of <|tool_call> (function_calls always empty) Abierto

bug

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

cactus-compute/cactus#693 · Abierto el 6/6/2026
Gemma byte-fallback tokens are not reassembled into UTF-8 Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 25/100

cactus-compute/cactus#684 · Abierto el 1/6/2026
Feature: Add SenseVoice/Paraformer ASR models for on-device speech recognition Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100

cactus-compute/cactus#678 · Abierto el 30/5/2026
'Failed to build cactus library' on WSL2 (x86_64) Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 52/100

cactus-compute/cactus#655 · 2 comentarios · Abierto el 20/5/2026
[Discussion] Pure-Rust + WASM port of Needle for browser and embedded deployment Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

cactus-compute/needle#32 · 11 comentarios · 16 reacciones · Abierto el 18/5/2026
setup script false positive TPU detection Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100

cactus-compute/needle#31 · 2 comentarios · Abierto el 18/5/2026
Can't use in Lm Studio or Unsloth Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

cactus-compute/needle#30 · 1 comentario · 1 reacción · Abierto el 18/5/2026
Why re-implement constrained decoding? Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

cactus-compute/needle#28 · Abierto el 17/5/2026
Needle available on Android possibility Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100

cactus-compute/needle#17 · 2 comentarios · Abierto el 13/5/2026
cactus_complete returns -1 on second invocation (iOS xcframework, Gemma 4 E2B int4) Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 42/100

cactus-compute/cactus#599 · 1 comentario · Abierto el 19/4/2026
Expected single token encoding for <|image_start|> for LFM2-VL-450M Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 48/100

cactus-compute/cactus#597 · 1 comentario · Abierto el 18/4/2026
Gemma 4 vision_encoder.mlpackage not working as intended Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 38/100

cactus-compute/cactus#592 · Abierto el 16/4/2026
cactus_complete with Gemma 4 E4B + audio input throws unordered_map::at: key not found Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 38/100

cactus-compute/cactus#584 · 2 comentarios · Abierto el 15/4/2026
f8afc46 regresses Gemma tokenizer loading: tab tokens in vocab.txt cause std::stof exception during init Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 68/100

cactus-compute/cactus#577 · Abierto el 13/4/2026
Split native LLM ownership into Model and Context Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

cactus-compute/cactus#572 · Abierto el 12/4/2026
Gemma 4 and Qwen TTS support Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

cactus-compute/cactus#568 · 3 comentarios · 1 reacción · Abierto el 9/4/2026
Illegal instruction on Raspberry Pi 4 (ARMv8) Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

cactus-compute/cactus#561 · 3 comentarios · Abierto el 7/4/2026

cactus-compute

Recibe los nuevos issues en tu correo