Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

AnswerDotAI/ModernBERT

Đăng nhập để theo dõi Xem trên GitHub

Bringing BERT into modernity via both architecture changes and scaling

AnswerDotAI/ModernBERT có thân thiện với người mới không?

Gần đây có quá ít pull request của người đóng góp lần đầu gửi tới AnswerDotAI/ModernBERT để nói chúng được merge thường xuyên đến đâu. Hiện chưa có issue nào phù hợp với người mới đang mở; danh sách bên dưới là các issue khác chúng tôi có của kho này.

Star
1.7k
Fork
146
Issue cho người mới đang mở
0
Issue đã lập chỉ mục
56
Ngôn ngữ chính
Python
Giấy phép
Apache-2.0
Lần push lên GitHub gần nhất
1/3/2026
Lập chỉ mục gần nhất
14/9/2026
Không có hướng dẫn đóng góp
Không có quy tắc ứng xử
Label cho người mới
Chưa lập chỉ mục label nào cho người mới
Không có pull request nào được merge trong 30 ngày

Cách đóng góp cho AnswerDotAI/ModernBERT

  1. Dự án không có hướng dẫn đóng góp, vì vậy hãy bắt đầu từ README và vài pull request vừa được merge để xem thay đổi được đề xuất thế nào.
  2. Đóng góp của bạn sẽ được phát hành theo giấy phép Apache-2.0 của dự án.
  3. Theo dõi kho này để biết khi có issue mới phù hợp với người mới, hoặc xem các issue khác bên dưới.
Phù hợp cho người mới Tất cả
Đang mở Tất cả

Các issue có thể đã có người làm được xếp cuối danh sách. Sắp xếp tất cả theo ngày

  • Verify evals on Papers with Code
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 50/100

    AnswerDotAI/ModernBERT#254 ·

  • missing file yamls/main/modernbert-base.yaml
    Đang mở
    • Có gì không ổn?

    Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 25/100

    AnswerDotAI/ModernBERT#251 ·

  • StopIteration error during training with modernbert-large-context-extension.yaml configuration
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 42/100

    AnswerDotAI/ModernBERT#249 ·

  • Resuming takes too much time with `load_path` activated
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

    AnswerDotAI/ModernBERT#246 · 6 bình luận ·

  • Continue pretraining on my dataset
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 20/100

    AnswerDotAI/ModernBERT#245 · 1 bình luận ·

  • First layer residual is inconsistently normalized
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100

    AnswerDotAI/ModernBERT#243 · 2 reaction ·

  • Question about masking - why mask on unpadded sequence?
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

    AnswerDotAI/ModernBERT#242 · 1 bình luận ·

  • `_pad_token` attribute?
    Đang mở
    • Có gì không ổn?

    Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 52/100

    AnswerDotAI/ModernBERT#241 · 2 bình luận ·

  • Usage of GTE-ModernColBERT or ModernBERT embedding model for storing file chunks and vector embeddings in a vector store
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100

    AnswerDotAI/ModernBERT#240 · 4 bình luận ·

  • ValueError: Invalid pattern: '**' can only be an entire path component
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100

    AnswerDotAI/ModernBERT#237 ·

  • question to implementation for ModernBertForMaskedLM vs ModernBertForSequenceClassification
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100

    AnswerDotAI/ModernBERT#235 · 1 reaction ·

  • Pretraining with FlexBert but can't export to HF
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

    AnswerDotAI/ModernBERT#234 · 2 bình luận ·

  • grad_norm Nan question
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

    AnswerDotAI/ModernBERT#233 · 1 bình luận ·

  • Pretraining Throughput — Unexpected Drop in Speed
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

    AnswerDotAI/ModernBERT#228 · 2 bình luận ·

  • Training Tokenizer and pretraining
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100

    AnswerDotAI/ModernBERT#226 · 1 bình luận ·

  • How to continue to train ModernBert base/large in a specific domain?
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 25/100

    AnswerDotAI/ModernBERT#222 · 2 bình luận ·

  • Multi-GPU Pretraining is slower than single GPU training?
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100

    AnswerDotAI/ModernBERT#220 · 5 bình luận ·

  • Is there a config file for ModernBERT-Large?
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100

    AnswerDotAI/ModernBERT#217 · 1 bình luận ·

  • NaN rotaty_emb weights in exported pretrained models
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100

    AnswerDotAI/ModernBERT#215 · 5 bình luận ·

  • Special tokens masking candidates
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100

    AnswerDotAI/ModernBERT#212 · 1 bình luận · 1 reaction ·

  • HuggingFace loss implementation
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

    AnswerDotAI/ModernBERT#206 ·

  • `IndexError: tuple index out of range` in `input_ids` during pre-training
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 38/100

    AnswerDotAI/ModernBERT#199 · 3 bình luận · 1 reaction ·

  • BackendCompilerFailed
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

    AnswerDotAI/ModernBERT#198 · 4 bình luận · 2 reaction ·

  • Question about MLDR Evaluation Metrics in ModernBERT Paper
    Có thể làm lại được Đang mở
    • Có gì không ổn?

    AnswerDotAI/ModernBERT#193 · 1 bình luận · 1 người được giao ·

  • Can't find yamls/main/modernbert-base.yaml in repo
    Đang mở
    • Có gì không ổn?

    Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 42/100

    AnswerDotAI/ModernBERT#192 · 2 bình luận ·

  • contextual embeddings of individual words
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

    AnswerDotAI/ModernBERT#191 · 5 bình luận · 1 reaction ·

  • TypeError: ModernBertForSequenceClassification.__init__() got an unexpected keyword argument 'compile'
    Có thể làm lại được Đang mở
    • Có gì không ổn?

    AnswerDotAI/ModernBERT#190 · 6 bình luận · 1 người được giao ·

  • How to Tag Entities/Keywords in ModernBert?
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

    AnswerDotAI/ModernBERT#188 · 2 reaction ·

  • How to use a custom tokenizer for pre-training BERT from scratch
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 42/100

    AnswerDotAI/ModernBERT#187 · 5 bình luận · 1 reaction ·

  • How to Extract a Model from a Checkpoint
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

    AnswerDotAI/ModernBERT#186 · 3 bình luận · 2 reaction ·

  • ImportError: cannot import name 'StreamingDataset' from 'streaming'
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 20/100

    AnswerDotAI/ModernBERT#185 · 2 bình luận ·

  • Are there minimum hardware requirements regarding pre-training?
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

    AnswerDotAI/ModernBERT#182 · 2 bình luận ·

  • ModernBert Encoder
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100

    AnswerDotAI/ModernBERT#180 · 3 bình luận ·

  • ModernBertPreTrainedModel for word-level prediction tasks
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

    AnswerDotAI/ModernBERT#179 · 8 bình luận ·

  • Yaml used to train the ModernBert
    Có thể làm lại được Đang mở
    • Có gì không ổn?

    AnswerDotAI/ModernBERT#178 · 1 bình luận · 1 người được giao ·

  • Unable to reproduce Table 7 from the paper
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

    AnswerDotAI/ModernBERT#176 · 1 bình luận ·

  • ModernBertModel works on the CPU but fails on the GPU
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 38/100

    AnswerDotAI/ModernBERT#174 · 8 bình luận ·

  • Request for code to quantize and convert ModernBERT Model to ONNX
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

    AnswerDotAI/ModernBERT#173 · 11 bình luận · 1 reaction ·

  • During pre-training, using FA2 consumes more memory than using SDPA
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

    AnswerDotAI/ModernBERT#172 · 10 bình luận ·

  • What's the difference among the different mode when initialize model from pretrained model?
    Có thể làm lại được Đang mở
    • Có gì không ổn?

    AnswerDotAI/ModernBERT#171 · 1 người được giao ·

  • Does not support multiple gpu training. Also, please post how to convert your pretrain results into hugging faces.
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 20/100

    AnswerDotAI/ModernBERT#169 · 1 bình luận ·

  • Missing model_max_length for tokeniser
    Có thể làm lại được Đang mở
    • Có gì không ổn?

    AnswerDotAI/ModernBERT#166 · 3 bình luận · 1 người được giao ·

  • MaskedLM nan training loss
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

    AnswerDotAI/ModernBERT#163 · 7 bình luận · 8 reaction ·

  • Example of GreedyBestFitSequencePacker with HuggingFace Trainer
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 42/100

    AnswerDotAI/ModernBERT#161 ·

  • Vocab.txt for ONNX?
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 25/100

    AnswerDotAI/ModernBERT#160 · 2 bình luận ·

  • Question about fine-tuning for text classification
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

    AnswerDotAI/ModernBERT#157 · 6 bình luận · 3 reaction ·

  • Evaluation
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

    AnswerDotAI/ModernBERT#156 · 1 bình luận ·

  • How to run pre-training?
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 25/100

    AnswerDotAI/ModernBERT#155 · 7 bình luận · 14 reaction ·

  • Question about Different Model Loading Approaches for NLU vs Retrieval Tasks
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 30/100

    AnswerDotAI/ModernBERT#154 ·

  • checkpoints for further pretraining
    Có thể làm lại được Đang mở
    • Có gì không ổn?

    AnswerDotAI/ModernBERT#153 · 11 bình luận · 2 reaction · 1 người được giao ·

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.