seanome/kmerseek

Parallelize `sourmash sig kmers`!

Ouverte

#9 ouverte le 14 févr. 2025

Voir sur GitHub
 (7 commentaires) (0 réaction) (0 personne assignée)Rust (3 forks)auto 404
Rusthelp wanted

Métriques du dépôt

Stars
 (9 étoiles)
Métriques de merge PR
 (Merge moyen 5j 17h) (13 PRs mergées en 30 j)

Description

sourmash sig kmers (wrapped in kmerseek.sketch.get_kmers called by kmerseek.entity.KmerseekEntity) is a single-threaded process that merges the provided signatures and iterates over the fasta file, which can be really slow.

For example, I've had this process running for 17 hours on the UniProt/SwissProt human data (only ~20k genes, while all of UniProt/SwissProt is ~500k!):

Image

I'd love for this process to get parallelized somehow. Ideally we'd contribute upstream to sourmash or sourmash_plugin_branchwater itself.

Guide contributeur

Direction de recherche
Investigue le goulot d'étranglement monothread dans kmerseek.sketch.get kmers. Explorez la parallélisation en utilisant la crate rayon de Rust pour une itération parallèle sur le fichier FASTA et la fusion des signatures. Considérez si la parallélisation peut être contribuée en amont à sourmash ou sourmash plugin branchwater.
Stack technique
rust
Domaine
backend
Type d'issue
Performance
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Plus d'une semaine
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
GitRust
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40