Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Building from the release tag v0.1.1 will fail with errors

Abierto
  • ¿Algo no está bien?
#94 0 comentarios 1 reacción 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
3/5
Tiempo estimado
1-2 días
Aptitud para principiantes
35/100
Tipo de issue
Error
Claridad
Bastante claro
Estado de actividad
Estancado
Stack tecnológico
cmake, cpp, git, rust
Área
build-system, release

Línea de trabajo

Reproduce el fallo utilizando el clon de v0.1.1 y los comandos de CMake indicados en el issue; después, inspeccione src/lib.rs en la línea 78 y las revisiones de los submódulos a las que hace referencia ese tag. Compárelas con el commit actual de main y sus submódulos. La tarea estará terminada cuando un checkout limpio de v0.1.1 se compile correctamente, o cuando se corrija el tag de release según corresponda.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

I tried building from the release tag v0.1.1 like this:

git clone --depth 1 --branch v0.1.1 --recurse-submodules https://github.com/mlc-ai/tokenizers-cpp tokenizers-cpp-0.1.1
cmake -S tokenizers-cpp-0.1.1 -B tokenizers-cpp-0.1.1/build -DCMAKE_BUILD_TYPE=RelWithDebInfo
cmake --build tokenizers-cpp-0.1.1/build

, and the build fails with the error below.

error[E0308]: mismatched types
   --> src/lib.rs:78:53
    |
 78 |         let mut tokenizer = Tokenizer::new(BPE::new(vocab, merges));
    |                                            -------- ^^^^^ expected `AHashMap<String, u32>`, found `HashMap<String, u32>`
    |                                            |
    |                                            arguments to this function are incorrect
    |
    = note: expected struct `ahash::hash_map::AHashMap<std::string::String, u32>`
               found struct `HashMap<std::string::String, u32>`

It seems that the submodules referenced in this release tag are not compatible with the source code at the same tag.

The build succeeds at the current main, but building from main is error-prone, so I ended up building from the current commit of main, but I'm not sure if I'm picking up something that is not supposed to be in the v0.1.1 release.

git clone https://github.com/mlc-ai/tokenizers-cpp tokenizers-cpp-0.1.1
cd tokenizers-cpp-0.1.1
git checkout acbdc5a2
git submodule update --init
cd ..

It might be a good idea to move the release tag to the commit that fixed those dependencies.

Lenguaje dominante
C++
Estrellas
514
Forks
132
Sin PR fusionados en 30 d

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de mlc-ai/tokenizers-cpp

Todos los issues de mlc-ai/tokenizers-cpp

Issues similares

Más issues de C++

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.