Hacktoberfest 2026：メンテナが10月に向けて印を付けた、オープンで初心者向けの issue。 Hacktoberfest の issue を見る

AnswerDotAI/ModernBERT

ログインしてフォロー GitHub で見る

Bringing BERT into modernity via both architecture changes and scaling

AnswerDotAI/ModernBERT は初心者に優しい？

AnswerDotAI/ModernBERT への外部コントリビューターの PR が最近は少なく、どのくらいマージされるかはまだ言えません。 初心者向けのオープンな issue は今はありません。下の一覧に、このリポジトリのほかの issue があります。

スター
1.7k
フォーク
146
オープンの初心者向け issue
0
索引済み issue
56
主要言語
Python
ライセンス
Apache-2.0
最終 GitHub push
2026年3月1日
最新の索引
2026年9月14日
コントリビューションガイドがありません
行動規範がありません
初心者向けラベル
初心者向けラベルは索引されていません
30日以内にマージされた PR はありません

AnswerDotAI/ModernBERT にコントリビュートするには

  1. コントリビューションガイドはないので、README と最近マージされた PR をいくつか読んで、変更の出し方をつかみましょう。
  2. あなたのコントリビュートはプロジェクトの Apache-2.0 ライセンスで公開されます。
  3. リポジトリをフォローすれば、新しい初心者向け issue が出たときにわかります。下のほかの issue も見てみましょう。
初心者向け すべて
オープン すべて

誰かが対応中かもしれないイシューは最後に並べています。 すべて日付順に表示

  • Verify evals on Papers with Code
    オープン
    • 何か問題がありますか？

    難易度 3/5 1〜2日 初心者へのやさしさ 50/100

    AnswerDotAI/ModernBERT#254 ·

  • missing file yamls/main/modernbert-base.yaml
    オープン
    • 何か問題がありますか？

    難易度 2/5 1〜3時間 初心者へのやさしさ 25/100

    AnswerDotAI/ModernBERT#251 ·

  • StopIteration error during training with modernbert-large-context-extension.yaml configuration
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 42/100

    AnswerDotAI/ModernBERT#249 ·

  • Resuming takes too much time with `load_path` activated
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 35/100

    AnswerDotAI/ModernBERT#246 · コメント 6 件 ·

  • Continue pretraining on my dataset
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 20/100

    AnswerDotAI/ModernBERT#245 · コメント 1 件 ·

  • First layer residual is inconsistently normalized
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 30/100

    AnswerDotAI/ModernBERT#243 · リアクション 2 件 ·

  • Question about masking - why mask on unpadded sequence?
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 25/100

    AnswerDotAI/ModernBERT#242 · コメント 1 件 ·

  • `_pad_token` attribute?
    オープン
    • 何か問題がありますか？

    難易度 2/5 1〜3時間 初心者へのやさしさ 52/100

    AnswerDotAI/ModernBERT#241 · コメント 2 件 ·

  • Usage of GTE-ModernColBERT or ModernBERT embedding model for storing file chunks and vector embeddings in a vector store
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 30/100

    AnswerDotAI/ModernBERT#240 · コメント 4 件 ·

  • ValueError: Invalid pattern: '**' can only be an entire path component
    オープン
    • 何か問題がありますか？

    難易度 3/5 1〜2日 初心者へのやさしさ 35/100

    AnswerDotAI/ModernBERT#237 ·

  • question to implementation for ModernBertForMaskedLM vs ModernBertForSequenceClassification
    オープン
    • 何か問題がありますか？

    難易度 5/5 1週間以上 初心者へのやさしさ 20/100

    AnswerDotAI/ModernBERT#235 · リアクション 1 件 ·

  • Pretraining with FlexBert but can't export to HF
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 35/100

    AnswerDotAI/ModernBERT#234 · コメント 2 件 ·

  • grad_norm Nan question
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 25/100

    AnswerDotAI/ModernBERT#233 · コメント 1 件 ·

  • Pretraining Throughput — Unexpected Drop in Speed
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 25/100

    AnswerDotAI/ModernBERT#228 · コメント 2 件 ·

  • Training Tokenizer and pretraining
    オープン
    • 何か問題がありますか？

    難易度 5/5 1週間以上 初心者へのやさしさ 20/100

    AnswerDotAI/ModernBERT#226 · コメント 1 件 ·

  • How to continue to train ModernBert base/large in a specific domain?
    オープン
    • 何か問題がありますか？

    難易度 3/5 1〜2日 初心者へのやさしさ 25/100

    AnswerDotAI/ModernBERT#222 · コメント 2 件 ·

  • Multi-GPU Pretraining is slower than single GPU training?
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 30/100

    AnswerDotAI/ModernBERT#220 · コメント 5 件 ·

  • Is there a config file for ModernBERT-Large?
    オープン
    • 何か問題がありますか？

    難易度 3/5 1〜2日 初心者へのやさしさ 35/100

    AnswerDotAI/ModernBERT#217 · コメント 1 件 ·

  • NaN rotaty_emb weights in exported pretrained models
    オープン
    • 何か問題がありますか？

    難易度 3/5 1〜2日 初心者へのやさしさ 35/100

    AnswerDotAI/ModernBERT#215 · コメント 5 件 ·

  • Special tokens masking candidates
    オープン
    • 何か問題がありますか？

    難易度 3/5 1〜2日 初心者へのやさしさ 45/100

    AnswerDotAI/ModernBERT#212 · コメント 1 件 · リアクション 1 件 ·

  • HuggingFace loss implementation
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 25/100

    AnswerDotAI/ModernBERT#206 ·

  • `IndexError: tuple index out of range` in `input_ids` during pre-training
    オープン
    • 何か問題がありますか？

    難易度 3/5 1〜2日 初心者へのやさしさ 38/100

    AnswerDotAI/ModernBERT#199 · コメント 3 件 · リアクション 1 件 ·

  • BackendCompilerFailed
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 25/100

    AnswerDotAI/ModernBERT#198 · コメント 4 件 · リアクション 2 件 ·

  • Question about MLDR Evaluation Metrics in ModernBERT Paper
    再び着手できるかも オープン
    • 何か問題がありますか？

    AnswerDotAI/ModernBERT#193 · コメント 1 件 · 担当者 1 名 ·

  • Can't find yamls/main/modernbert-base.yaml in repo
    オープン
    • 何か問題がありますか？

    難易度 1/5 1時間未満 初心者へのやさしさ 42/100

    AnswerDotAI/ModernBERT#192 · コメント 2 件 ·

  • contextual embeddings of individual words
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 35/100

    AnswerDotAI/ModernBERT#191 · コメント 5 件 · リアクション 1 件 ·

  • TypeError: ModernBertForSequenceClassification.__init__() got an unexpected keyword argument 'compile'
    再び着手できるかも オープン
    • 何か問題がありますか？

    AnswerDotAI/ModernBERT#190 · コメント 6 件 · 担当者 1 名 ·

  • How to Tag Entities/Keywords in ModernBert?
    オープン
    • 何か問題がありますか？

    難易度 5/5 1週間以上 初心者へのやさしさ 25/100

    AnswerDotAI/ModernBERT#188 · リアクション 2 件 ·

  • How to use a custom tokenizer for pre-training BERT from scratch
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 42/100

    AnswerDotAI/ModernBERT#187 · コメント 5 件 · リアクション 1 件 ·

  • How to Extract a Model from a Checkpoint
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 25/100

    AnswerDotAI/ModernBERT#186 · コメント 3 件 · リアクション 2 件 ·

  • ImportError: cannot import name 'StreamingDataset' from 'streaming'
    オープン
    • 何か問題がありますか？

    難易度 3/5 1〜2日 初心者へのやさしさ 20/100

    AnswerDotAI/ModernBERT#185 · コメント 2 件 ·

  • Are there minimum hardware requirements regarding pre-training?
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 25/100

    AnswerDotAI/ModernBERT#182 · コメント 2 件 ·

  • ModernBert Encoder
    オープン
    • 何か問題がありますか？

    難易度 5/5 1週間以上 初心者へのやさしさ 20/100

    AnswerDotAI/ModernBERT#180 · コメント 3 件 ·

  • ModernBertPreTrainedModel for word-level prediction tasks
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 25/100

    AnswerDotAI/ModernBERT#179 · コメント 8 件 ·

  • Yaml used to train the ModernBert
    再び着手できるかも オープン
    • 何か問題がありますか？

    AnswerDotAI/ModernBERT#178 · コメント 1 件 · 担当者 1 名 ·

  • Unable to reproduce Table 7 from the paper
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 25/100

    AnswerDotAI/ModernBERT#176 · コメント 1 件 ·

  • ModernBertModel works on the CPU but fails on the GPU
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 38/100

    AnswerDotAI/ModernBERT#174 · コメント 8 件 ·

  • Request for code to quantize and convert ModernBERT Model to ONNX
    オープン
    • 何か問題がありますか？

    難易度 5/5 1週間以上 初心者へのやさしさ 25/100

    AnswerDotAI/ModernBERT#173 · コメント 11 件 · リアクション 1 件 ·

  • During pre-training, using FA2 consumes more memory than using SDPA
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 35/100

    AnswerDotAI/ModernBERT#172 · コメント 10 件 ·

  • What's the difference among the different mode when initialize model from pretrained model?
    再び着手できるかも オープン
    • 何か問題がありますか？

    AnswerDotAI/ModernBERT#171 · 担当者 1 名 ·

  • Does not support multiple gpu training. Also, please post how to convert your pretrain results into hugging faces.
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 20/100

    AnswerDotAI/ModernBERT#169 · コメント 1 件 ·

  • Missing model_max_length for tokeniser
    再び着手できるかも オープン
    • 何か問題がありますか？

    AnswerDotAI/ModernBERT#166 · コメント 3 件 · 担当者 1 名 ·

  • MaskedLM nan training loss
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 35/100

    AnswerDotAI/ModernBERT#163 · コメント 7 件 · リアクション 8 件 ·

  • Example of GreedyBestFitSequencePacker with HuggingFace Trainer
    オープン
    • 何か問題がありますか？

    難易度 3/5 1〜2日 初心者へのやさしさ 42/100

    AnswerDotAI/ModernBERT#161 ·

  • Vocab.txt for ONNX?
    オープン
    • 何か問題がありますか？

    難易度 3/5 1〜2日 初心者へのやさしさ 25/100

    AnswerDotAI/ModernBERT#160 · コメント 2 件 ·

  • Question about fine-tuning for text classification
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 25/100

    AnswerDotAI/ModernBERT#157 · コメント 6 件 · リアクション 3 件 ·

  • Evaluation
    オープン
    • 何か問題がありますか？

    難易度 4/5 3〜5日 初心者へのやさしさ 25/100

    AnswerDotAI/ModernBERT#156 · コメント 1 件 ·

  • How to run pre-training?
    オープン
    • 何か問題がありますか？

    難易度 3/5 1〜2日 初心者へのやさしさ 25/100

    AnswerDotAI/ModernBERT#155 · コメント 7 件 · リアクション 14 件 ·

  • Question about Different Model Loading Approaches for NLU vs Retrieval Tasks
    オープン
    • 何か問題がありますか？

    難易度 3/5 1〜2日 初心者へのやさしさ 30/100

    AnswerDotAI/ModernBERT#154 ·

  • checkpoints for further pretraining
    再び着手できるかも オープン
    • 何か問題がありますか？

    AnswerDotAI/ModernBERT#153 · コメント 11 件 · リアクション 2 件 · 担当者 1 名 ·

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。