AnswerDotAI/ModernBERT

可能已有人在做的 issue 排在最后。 全部按时间排序

• Verify evals on Papers with Code

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 50/100

  AnswerDotAI/ModernBERT#254 · 2026年9月14日 创建

• missing file yamls/main/modernbert-base.yaml

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 25/100

  AnswerDotAI/ModernBERT#251 · 2025年12月3日 创建

• StopIteration error during training with modernbert-large-context-extension.yaml configuration

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 42/100

  AnswerDotAI/ModernBERT#249 · 2025年10月23日 创建

• Resuming takes too much time with `load_path` activated

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 35/100

  AnswerDotAI/ModernBERT#246 · 6 条评论 · 2025年10月8日 创建

• Continue pretraining on my dataset

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 20/100

  AnswerDotAI/ModernBERT#245 · 1 条评论 · 2025年8月23日 创建

• First layer residual is inconsistently normalized

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 30/100

  AnswerDotAI/ModernBERT#243 · 2 个 reaction · 2025年8月16日 创建

• Question about masking - why mask on unpadded sequence?

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 25/100

  AnswerDotAI/ModernBERT#242 · 1 条评论 · 2025年8月14日 创建

• `_pad_token` attribute?

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 52/100

  AnswerDotAI/ModernBERT#241 · 2 条评论 · 2025年8月11日 创建

• Usage of GTE-ModernColBERT or ModernBERT embedding model for storing file chunks and vector embeddings in a vector store

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 30/100

  AnswerDotAI/ModernBERT#240 · 4 条评论 · 2025年8月2日 创建

• ValueError: Invalid pattern: '**' can only be an entire path component

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 35/100

  AnswerDotAI/ModernBERT#237 · 2025年6月8日 创建

• question to implementation for ModernBertForMaskedLM vs ModernBertForSequenceClassification

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 5/5 一周以上 新手友好度 20/100

  AnswerDotAI/ModernBERT#235 · 1 个 reaction · 2025年5月22日 创建

• Pretraining with FlexBert but can't export to HF

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 35/100

  AnswerDotAI/ModernBERT#234 · 2 条评论 · 2025年5月21日 创建

• grad_norm Nan question

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 25/100

  AnswerDotAI/ModernBERT#233 · 1 条评论 · 2025年5月21日 创建

• Pretraining Throughput — Unexpected Drop in Speed

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 25/100

  AnswerDotAI/ModernBERT#228 · 2 条评论 · 2025年4月30日 创建

• Training Tokenizer and pretraining

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 5/5 一周以上 新手友好度 20/100

  AnswerDotAI/ModernBERT#226 · 1 条评论 · 2025年4月17日 创建

• How to continue to train ModernBert base/large in a specific domain?

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 25/100

  AnswerDotAI/ModernBERT#222 · 2 条评论 · 2025年4月2日 创建

• Multi-GPU Pretraining is slower than single GPU training?

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 30/100

  AnswerDotAI/ModernBERT#220 · 5 条评论 · 2025年3月31日 创建

• Is there a config file for ModernBERT-Large?

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 35/100

  AnswerDotAI/ModernBERT#217 · 1 条评论 · 2025年3月24日 创建

• NaN rotaty_emb weights in exported pretrained models

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 35/100

  AnswerDotAI/ModernBERT#215 · 5 条评论 · 2025年3月20日 创建

• Special tokens masking candidates

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 45/100

  AnswerDotAI/ModernBERT#212 · 1 条评论 · 1 个 reaction · 2025年3月19日 创建

• HuggingFace loss implementation

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 25/100

  AnswerDotAI/ModernBERT#206 · 2025年2月26日 创建

• `IndexError: tuple index out of range` in `input_ids` during pre-training

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 38/100

  AnswerDotAI/ModernBERT#199 · 3 条评论 · 1 个 reaction · 2025年2月13日 创建

• BackendCompilerFailed

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 25/100

  AnswerDotAI/ModernBERT#198 · 4 条评论 · 2 个 reaction · 2025年2月12日 创建

• Question about MLDR Evaluation Metrics in ModernBERT Paper

  可能重新可做 @bclavie 于 580 天前认领，目前没有进行中的 PR。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  AnswerDotAI/ModernBERT#193 · 1 条评论 · 已指派 1 人 · 2025年1月31日 创建

• Can't find yamls/main/modernbert-base.yaml in repo

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 1/5 1 小时以内 新手友好度 42/100

  AnswerDotAI/ModernBERT#192 · 2 条评论 · 2025年1月28日 创建

• contextual embeddings of individual words

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 35/100

  AnswerDotAI/ModernBERT#191 · 5 条评论 · 1 个 reaction · 2025年1月27日 创建

• TypeError: ModernBertForSequenceClassification.__init__() got an unexpected keyword argument 'compile'

  可能重新可做 @ohmeow 于 609 天前认领，目前没有进行中的 PR。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  AnswerDotAI/ModernBERT#190 · 6 条评论 · 已指派 1 人 · 2025年1月26日 创建

• How to Tag Entities/Keywords in ModernBert?

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 5/5 一周以上 新手友好度 25/100

  AnswerDotAI/ModernBERT#188 · 2 个 reaction · 2025年1月24日 创建

• How to use a custom tokenizer for pre-training BERT from scratch

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 42/100

  AnswerDotAI/ModernBERT#187 · 5 条评论 · 1 个 reaction · 2025年1月22日 创建

• How to Extract a Model from a Checkpoint

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 25/100

  AnswerDotAI/ModernBERT#186 · 3 条评论 · 2 个 reaction · 2025年1月21日 创建

• ImportError: cannot import name 'StreamingDataset' from 'streaming'

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 20/100

  AnswerDotAI/ModernBERT#185 · 2 条评论 · 2025年1月20日 创建

• Are there minimum hardware requirements regarding pre-training?

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 25/100

  AnswerDotAI/ModernBERT#182 · 2 条评论 · 2025年1月16日 创建

• ModernBert Encoder

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 5/5 一周以上 新手友好度 20/100

  AnswerDotAI/ModernBERT#180 · 3 条评论 · 2025年1月15日 创建

• ModernBertPreTrainedModel for word-level prediction tasks

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 25/100

  AnswerDotAI/ModernBERT#179 · 8 条评论 · 2025年1月15日 创建

• Yaml used to train the ModernBert

  可能重新可做 @NohTow 于 622 天前认领，目前没有进行中的 PR。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  AnswerDotAI/ModernBERT#178 · 1 条评论 · 已指派 1 人 · 2025年1月14日 创建

• Unable to reproduce Table 7 from the paper

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 25/100

  AnswerDotAI/ModernBERT#176 · 1 条评论 · 2025年1月9日 创建

• ModernBertModel works on the CPU but fails on the GPU

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 38/100

  AnswerDotAI/ModernBERT#174 · 8 条评论 · 2025年1月8日 创建

• Request for code to quantize and convert ModernBERT Model to ONNX

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 5/5 一周以上 新手友好度 25/100

  AnswerDotAI/ModernBERT#173 · 11 条评论 · 1 个 reaction · 2025年1月7日 创建

• During pre-training, using FA2 consumes more memory than using SDPA

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 35/100

  AnswerDotAI/ModernBERT#172 · 10 条评论 · 2025年1月6日 创建

• What's the difference among the different mode when initialize model from pretrained model?

  可能重新可做 @warner-benjamin 于 633 天前认领，目前没有进行中的 PR。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  AnswerDotAI/ModernBERT#171 · 已指派 1 人 · 2025年1月3日 创建

• Does not support multiple gpu training. Also, please post how to convert your pretrain results into hugging faces.

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 20/100

  AnswerDotAI/ModernBERT#169 · 1 条评论 · 2024年12月31日 创建

• Missing model_max_length for tokeniser

  可能重新可做 @NohTow 于 634 天前认领，目前没有进行中的 PR。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  AnswerDotAI/ModernBERT#166 · 3 条评论 · 已指派 1 人 · 2024年12月28日 创建

• MaskedLM nan training loss

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 35/100

  AnswerDotAI/ModernBERT#163 · 7 条评论 · 8 个 reaction · 2024年12月26日 创建

• Example of GreedyBestFitSequencePacker with HuggingFace Trainer

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 42/100

  AnswerDotAI/ModernBERT#161 · 2024年12月24日 创建

• Vocab.txt for ONNX?

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 25/100

  AnswerDotAI/ModernBERT#160 · 2 条评论 · 2024年12月24日 创建

• Question about fine-tuning for text classification

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 25/100

  AnswerDotAI/ModernBERT#157 · 6 条评论 · 3 个 reaction · 2024年12月23日 创建

• Evaluation

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 25/100

  AnswerDotAI/ModernBERT#156 · 1 条评论 · 2024年12月23日 创建

• How to run pre-training?

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 25/100

  AnswerDotAI/ModernBERT#155 · 7 条评论 · 14 个 reaction · 2024年12月23日 创建

• Question about Different Model Loading Approaches for NLU vs Retrieval Tasks

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 30/100

  AnswerDotAI/ModernBERT#154 · 2024年12月22日 创建

• checkpoints for further pretraining

  可能重新可做 @NohTow 于 622 天前认领，目前没有进行中的 PR。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  AnswerDotAI/ModernBERT#153 · 11 条评论 · 2 个 reaction · 已指派 1 人 · 2024年12月22日 创建