seanome/kmerseek

Parallelize `sourmash sig kmers`!

Aperta

#9 aperta il 14 feb 2025

Vedi su GitHub
 (7 commenti) (0 reazioni) (0 assegnatari)Rust (3 fork)auto 404
Rusthelp wanted

Metriche repository

Star
 (9 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

sourmash sig kmers (wrapped in kmerseek.sketch.get_kmers called by kmerseek.entity.KmerseekEntity) is a single-threaded process that merges the provided signatures and iterates over the fasta file, which can be really slow.

For example, I've had this process running for 17 hours on the UniProt/SwissProt human data (only ~20k genes, while all of UniProt/SwissProt is ~500k!):

Image

I'd love for this process to get parallelized somehow. Ideally we'd contribute upstream to sourmash or sourmash_plugin_branchwater itself.

Guida contributor

Direzione di ricerca
Indaga il collo di bottiglia a thread singolo in kmerseek.sketch.get kmers. Esplora la parallelizzazione usando il crate rayon di Rust per iterare in parallelo sul file FASTA e unire le firme. Valuta se la parallelizzazione può essere contribuita a monte a sourmash o sourmash plugin branchwater.
Tech stack
rust
Dominio
backend
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Oltre 1 settimana
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitRust
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40