AnswerDotAI/ModernBERT

Les issues sur lesquelles quelqu’un travaille peut-être déjà sont listées en dernier. Tout trier par date

• Verify evals on Papers with Code

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 3/5 1-2 jours Accessibilité débutants 50/100

  AnswerDotAI/ModernBERT#254 · Ouverte le 14/9/2026

• missing file yamls/main/modernbert-base.yaml

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 2/5 1-3 heures Accessibilité débutants 25/100

  AnswerDotAI/ModernBERT#251 · Ouverte le 3/12/2025

• StopIteration error during training with modernbert-large-context-extension.yaml configuration

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 42/100

  AnswerDotAI/ModernBERT#249 · Ouverte le 23/10/2025

• Resuming takes too much time with `load_path` activated

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

  AnswerDotAI/ModernBERT#246 · 6 commentaires · Ouverte le 8/10/2025

• Continue pretraining on my dataset

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 20/100

  AnswerDotAI/ModernBERT#245 · 1 commentaire · Ouverte le 23/8/2025

• First layer residual is inconsistently normalized

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 30/100

  AnswerDotAI/ModernBERT#243 · 2 réactions · Ouverte le 16/8/2025

• Question about masking - why mask on unpadded sequence?

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

  AnswerDotAI/ModernBERT#242 · 1 commentaire · Ouverte le 14/8/2025

• `_pad_token` attribute?

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 2/5 1-3 heures Accessibilité débutants 52/100

  AnswerDotAI/ModernBERT#241 · 2 commentaires · Ouverte le 11/8/2025

• Usage of GTE-ModernColBERT or ModernBERT embedding model for storing file chunks and vector embeddings in a vector store

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 30/100

  AnswerDotAI/ModernBERT#240 · 4 commentaires · Ouverte le 2/8/2025

• ValueError: Invalid pattern: '**' can only be an entire path component

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 3/5 1-2 jours Accessibilité débutants 35/100

  AnswerDotAI/ModernBERT#237 · Ouverte le 8/6/2025

• question to implementation for ModernBertForMaskedLM vs ModernBertForSequenceClassification

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100

  AnswerDotAI/ModernBERT#235 · 1 réaction · Ouverte le 22/5/2025

• Pretraining with FlexBert but can't export to HF

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

  AnswerDotAI/ModernBERT#234 · 2 commentaires · Ouverte le 21/5/2025

• grad_norm Nan question

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

  AnswerDotAI/ModernBERT#233 · 1 commentaire · Ouverte le 21/5/2025

• Pretraining Throughput — Unexpected Drop in Speed

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

  AnswerDotAI/ModernBERT#228 · 2 commentaires · Ouverte le 30/4/2025

• Training Tokenizer and pretraining

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100

  AnswerDotAI/ModernBERT#226 · 1 commentaire · Ouverte le 17/4/2025

• How to continue to train ModernBert base/large in a specific domain?

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 3/5 1-2 jours Accessibilité débutants 25/100

  AnswerDotAI/ModernBERT#222 · 2 commentaires · Ouverte le 2/4/2025

• Multi-GPU Pretraining is slower than single GPU training?

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 30/100

  AnswerDotAI/ModernBERT#220 · 5 commentaires · Ouverte le 31/3/2025

• Is there a config file for ModernBERT-Large?

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 3/5 1-2 jours Accessibilité débutants 35/100

  AnswerDotAI/ModernBERT#217 · 1 commentaire · Ouverte le 24/3/2025

• NaN rotaty_emb weights in exported pretrained models

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 3/5 1-2 jours Accessibilité débutants 35/100

  AnswerDotAI/ModernBERT#215 · 5 commentaires · Ouverte le 20/3/2025

• Special tokens masking candidates

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 3/5 1-2 jours Accessibilité débutants 45/100

  AnswerDotAI/ModernBERT#212 · 1 commentaire · 1 réaction · Ouverte le 19/3/2025

• HuggingFace loss implementation

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

  AnswerDotAI/ModernBERT#206 · Ouverte le 26/2/2025

• `IndexError: tuple index out of range` in `input_ids` during pre-training

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 3/5 1-2 jours Accessibilité débutants 38/100

  AnswerDotAI/ModernBERT#199 · 3 commentaires · 1 réaction · Ouverte le 13/2/2025

• BackendCompilerFailed

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

  AnswerDotAI/ModernBERT#198 · 4 commentaires · 2 réactions · Ouverte le 12/2/2025

• Question about MLDR Evaluation Metrics in ModernBERT Paper

  Peut-être à nouveau libre @bclavie l’a pris il y a 580 jours, et aucune pull request n’est ouverte. Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  AnswerDotAI/ModernBERT#193 · 1 commentaire · 1 personne assignée · Ouverte le 31/1/2025

• Can't find yamls/main/modernbert-base.yaml in repo

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 1/5 Moins d'une heure Accessibilité débutants 42/100

  AnswerDotAI/ModernBERT#192 · 2 commentaires · Ouverte le 28/1/2025

• contextual embeddings of individual words

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

  AnswerDotAI/ModernBERT#191 · 5 commentaires · 1 réaction · Ouverte le 27/1/2025

• TypeError: ModernBertForSequenceClassification.__init__() got an unexpected keyword argument 'compile'

  Peut-être à nouveau libre @ohmeow l’a pris il y a 609 jours, et aucune pull request n’est ouverte. Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  AnswerDotAI/ModernBERT#190 · 6 commentaires · 1 personne assignée · Ouverte le 26/1/2025

• How to Tag Entities/Keywords in ModernBert?

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100

  AnswerDotAI/ModernBERT#188 · 2 réactions · Ouverte le 24/1/2025

• How to use a custom tokenizer for pre-training BERT from scratch

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 42/100

  AnswerDotAI/ModernBERT#187 · 5 commentaires · 1 réaction · Ouverte le 22/1/2025

• How to Extract a Model from a Checkpoint

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

  AnswerDotAI/ModernBERT#186 · 3 commentaires · 2 réactions · Ouverte le 21/1/2025

• ImportError: cannot import name 'StreamingDataset' from 'streaming'

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 3/5 1-2 jours Accessibilité débutants 20/100

  AnswerDotAI/ModernBERT#185 · 2 commentaires · Ouverte le 20/1/2025

• Are there minimum hardware requirements regarding pre-training?

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

  AnswerDotAI/ModernBERT#182 · 2 commentaires · Ouverte le 16/1/2025

• ModernBert Encoder

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100

  AnswerDotAI/ModernBERT#180 · 3 commentaires · Ouverte le 15/1/2025

• ModernBertPreTrainedModel for word-level prediction tasks

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

  AnswerDotAI/ModernBERT#179 · 8 commentaires · Ouverte le 15/1/2025

• Yaml used to train the ModernBert

  Peut-être à nouveau libre @NohTow l’a pris il y a 622 jours, et aucune pull request n’est ouverte. Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  AnswerDotAI/ModernBERT#178 · 1 commentaire · 1 personne assignée · Ouverte le 14/1/2025

• Unable to reproduce Table 7 from the paper

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

  AnswerDotAI/ModernBERT#176 · 1 commentaire · Ouverte le 9/1/2025

• ModernBertModel works on the CPU but fails on the GPU

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 38/100

  AnswerDotAI/ModernBERT#174 · 8 commentaires · Ouverte le 8/1/2025

• Request for code to quantize and convert ModernBERT Model to ONNX

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100

  AnswerDotAI/ModernBERT#173 · 11 commentaires · 1 réaction · Ouverte le 7/1/2025

• During pre-training, using FA2 consumes more memory than using SDPA

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

  AnswerDotAI/ModernBERT#172 · 10 commentaires · Ouverte le 6/1/2025

• What's the difference among the different mode when initialize model from pretrained model?

  Peut-être à nouveau libre @warner-benjamin l’a pris il y a 633 jours, et aucune pull request n’est ouverte. Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  AnswerDotAI/ModernBERT#171 · 1 personne assignée · Ouverte le 3/1/2025

• Does not support multiple gpu training. Also, please post how to convert your pretrain results into hugging faces.

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 20/100

  AnswerDotAI/ModernBERT#169 · 1 commentaire · Ouverte le 31/12/2024

• Missing model_max_length for tokeniser

  Peut-être à nouveau libre @NohTow l’a pris il y a 634 jours, et aucune pull request n’est ouverte. Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  AnswerDotAI/ModernBERT#166 · 3 commentaires · 1 personne assignée · Ouverte le 28/12/2024

• MaskedLM nan training loss

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

  AnswerDotAI/ModernBERT#163 · 7 commentaires · 8 réactions · Ouverte le 26/12/2024

• Example of GreedyBestFitSequencePacker with HuggingFace Trainer

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 3/5 1-2 jours Accessibilité débutants 42/100

  AnswerDotAI/ModernBERT#161 · Ouverte le 24/12/2024

• Vocab.txt for ONNX?

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 3/5 1-2 jours Accessibilité débutants 25/100

  AnswerDotAI/ModernBERT#160 · 2 commentaires · Ouverte le 24/12/2024

• Question about fine-tuning for text classification

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

  AnswerDotAI/ModernBERT#157 · 6 commentaires · 3 réactions · Ouverte le 23/12/2024

• Evaluation

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

  AnswerDotAI/ModernBERT#156 · 1 commentaire · Ouverte le 23/12/2024

• How to run pre-training?

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 3/5 1-2 jours Accessibilité débutants 25/100

  AnswerDotAI/ModernBERT#155 · 7 commentaires · 14 réactions · Ouverte le 23/12/2024

• Question about Different Model Loading Approaches for NLU vs Retrieval Tasks

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 3/5 1-2 jours Accessibilité débutants 30/100

  AnswerDotAI/ModernBERT#154 · Ouverte le 22/12/2024

• checkpoints for further pretraining

  Peut-être à nouveau libre @NohTow l’a pris il y a 622 jours, et aucune pull request n’est ouverte. Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  AnswerDotAI/ModernBERT#153 · 11 commentaires · 2 réactions · 1 personne assignée · Ouverte le 22/12/2024