Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Bug Report: Server crashes after generating first response with Falcon3-10B-Instruct-1.58bit

Abierto
  • ¿Algo no está bien?
#532 1 comentario 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
48/100
Tipo de issue
Error
Claridad
Bastante claro
Estado de actividad
Tranquilo
Stack tecnológico
cpp, python
Área
backend, machine-learning

Línea de trabajo

Comienza con run_inference_server.py o su equivalente y reproduce el fallo de Windows 11 usando Falcon3-10B-Instruct-1.58bit a través de Open WebUI. Inspecciona la segunda ruta de procesamiento de prompts alrededor de n_prompt_tokens = 269 y el manejo de control-tokens registrado en los logs; se considera terminado cuando el servidor gestiona varios turnos de chat sin salir con 0xC00000FD.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Describe the bug

I am running the official bitnet.cpp server (run_inference_server.py or equivalent) with the Falcon3-10B-Instruct-1.58bit model (GGUF I2_S from tiiuae/Falcon3-10B-Instruct-1.58bit-GGUF).
UPD: with official bitnet too.

Steps to reproduce:

  1. Start the server on port 8080.

  2. Connect via Open WebUI (OpenAI-compatible API).

  3. Send the first chat message → model generates a normal response.

  4. Send the second message → server immediately crashes with exit code 3221225725 (0xC00000FD — stack overflow?).

Logs during model load:


llm_load_vocab: control token: 2019 '>>UNUSED_1893<<' is not marked as EOG

llm_load_vocab: control token: 2022 '>>UNUSED_1896<<' is not marked as EOG

...

llm_load_print_meta: arch = llama

llm_load_print_meta: model type = 13B

llm_load_print_meta: model ftype = I2_S - 2 bpw ternary

llm_load_print_meta: general.name = Falcon3-10B-Instruct-1.58bit

llm_load_print_meta: BOS/EOS/EOT/EOG token = 11 '<|endoftext|>'

llm_load_print_meta: PAD token = 2023 '<|pad|>'

The crash happens right after the second prompt processing (n_prompt_tokens = 269 in the log).

Environment

  • OS: Windows 11

  • bitnet.cpp version: latest (cloned from microsoft/BitNet)

  • Model: Falcon3-10B-Instruct-1.58bit (I2_S)

  • Frontend: Open WebUI

  • Context: 4096

Expected behavior

The server should continue working for multiple turns without crashing.

Additional context

This looks like a vocabulary / special token handling issue specific to Falcon3 1.58-bit models (many >>UNUSED_xxxx<< control tokens are not properly marked as EOG). Similar warnings appear in other issues, but the crash after the first successful response seems new.

I can provide the full log file (server_20260405_122502.log) if needed.

Thank you!

Lenguaje dominante
C++
Estrellas
40.3k
Forks
3.7k
Sin PR fusionados en 30 d

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de microsoft/BitNet

Todos los issues de microsoft/BitNet

Issues similares

Más issues de C++

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.