When using sentencepiece, a Segmentation fault is reported

Metriche repository

Star

3108 star (3108 star)

Metriche merge PR

Nessuna PR mergiata in 30 g (Nessuna PR mergiata in 30 g)

Descrizione

python3 preprocess.py --corpus_path corpora/book_review.txt \
                      --spm_model_path models/cluecorpussmall_spm.model \
                      --dataset_path book_review_word_sentencepiece_dataset.pt \
                      --processes_num 8 --seq_length 128 --dynamic_masking \
                      --data_processor mlm

python3 pretrain.py --dataset_path book_review_word_sentencepiece_dataset.pt \
                    --spm_model_path models/cluecorpussmall_spm.model \
                    --output_model_path models/book_review_word_sentencepiece_model.bin \
                    --world_size 8 --gpu_ranks 0 1 2 3 4 5 6 7 \
                    --total_steps 5000 --save_checkpoint_steps 2500 --report_steps 500 \
                    --learning_rate 1e-4 --batch_size 64 \
                    --tie_weights

Guida contributor

Direzione di ricerca

Riproduci il segmentation fault con i comandi forniti. Usa 'ulimit c unlimited' e GDB per ottenere un backtrace. Controlla la compatibilità della versione della libreria sentencepiece e l'utilizzo della memoria (es. batch size, seq length). Prova a ridurre batch size o processes num per isolare il problema. Verifica che il file del modello spm sia valido e caricato correttamente.

Tech stack

pythonpytorch

Dominio

machine learning

Tipo issue

Bug

DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.

3

Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.

1-3 ore

Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.

Attiva

ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.

Chiara

Prerequisiti

PythonPyTorch

Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.

60