How to train a custom tokenizer for Chinese from scratch
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Documentación
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
Línea de trabajo
No se mencionan archivos, pruebas ni puntos de entrada. Empieza por localizar la guía o implementación del proyecto para el entrenamiento de tokenizadores y, a continuación, determina cómo se entrenan tokenizadores chinos personalizados desde cero. Se considerará completado cuando se proporcione una referencia pública clara o un ejemplo de código que responda a la solicitud.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi, wonderful work!
May I know how to train a custom tokenizer for Chinese from scratch? Is there any public reference or code can share?
Thanks for your help very much!
best,
Fangkai
- Lenguaje dominante
- Python
- Estrellas
- 12.3k
- Forks
- 1.1k
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de OpenMOSS/MOSS
-
windows的生成速度真的慢到令人发指Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 38/100
-
version?Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 20/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 30/100
-
moss为什么不更新了Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 10/100
-
moss-moon-003-sft Jupyter测试失败Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
Todos los issues de OpenMOSS/MOSS
Issues similares
-
md/asciidoc/csv: an explicit `encoding="utf-8"` keeps a leading BOM, the auto-detect path drops itAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
docling-project/docling#4846 ·
Los mantenedores suelen responder en 1 día
-
area/sessions comp/dashboard comp/desktop comp/gateway comp/tui duplicate P2 sweeper:risk-session-state type/bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
NousResearch/hermes-agent#138914 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
bot-triaged module: activation checkpointing module: inductor oncall: pt2 triaged
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
Los mantenedores suelen responder en 1 día
-
[oblt-aw][autodoc] Update PR Actions Detective E2E prerequisites and fix dashboard-format table typoAbiertodocumentation
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
elastic/oblt-aw#2382 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
Los mantenedores suelen responder en 1 día