Example of aggregating file with associated metadata
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 35/100
- Tipo di issue
- Documentazione
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Ambito
- documentation
Direzione di ricerca
Read the existing aggregation patterns and examples in the repository to see how they collect process outputs. Add a best practices example that aggregates file.txt outputs together with their meta values, and make clear how the example handles multiple values and special characters in metadata.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Currently, there is no example of aggregating files AND associated metadata. For instance, in many/most nf-core pipelines the process outputs are something like:
output:
tuple val(meta), path("file.txt")
...but what if one wants to then aggregate all of the file.txt outputs into one table AND include the meta metadata in that output table?
As far as I can tell from scouring the nextflow slack channel, one must "embed" the metadata in the file paths and then parse the file paths in the aggregation step. For example:
Per-file process:
output:
tuple val(meta), path("${meta}.txt")
Aggregation process:
input:
path("*")
script:
"""
[somehow parse {meta} from input file path]
"""
Is there a better way, especially given the substantial limitations of trying to embed metadata into a file path (eg., dealing with multiple values and special characters in the metadata values)?
I'm sure a lot of pipeline developers would like a best-practices example of how to deal with this situation (without having to decipher how meta is dealt with in aggregation steps of nf-core pipelines).
- Lingua principale
- Nextflow
- Stelle
- 374
- Fork
- 73
- Merge medio
- 15m
- PR unite (30g)
- 1
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di nextflow-io/patterns
-
Multiple optional inputsAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 36/100
nextflow-io/patterns#48 · 1 commento ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 30/100
nextflow-io/patterns#42 · 1 commento ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100
nextflow-io/patterns#30 ·
-
Add combinations patternAperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
nextflow-io/patterns#21 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100
nextflow-io/patterns#14 ·
Tutte le issue di nextflow-io/patterns
Issue simili
-
[Docs] Four internal links return 404 (Models concept, Contributing to Docs, Providers reference)Forse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
meshery/meshery#23520 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
fleet size/m
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
sipyourdrink-ltd/bernstein#7548 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100
pyrite-wiki/pyrite#1477 ·
I maintainer di solito rispondono entro 1 giorno
-
documentation linters
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
nanyx-lang/nanyx#1210 ·
I maintainer di solito rispondono entro 1 giorno