Research/quantify performance envelopes of multiple CDC algorighms
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 20/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- go
- Ambito
- cli, data-visualization, distributed-systems, performance
Direzione di ricerca
Inizia con la checklist non spuntata per l’utilità CLI autonoma, il lavoro su README/godoc e le implementazioni esistenti di chunker/linker descritte nell’issue. Poi esamina i test di forza bruta pianificati con IPFS testground e le visualizzazioni plotly.js. Il lavoro è completo quando sono disponibili risultati delle prestazioni riproducibili, dataset e ambito sono documentati, le visualizzazioni sono pubblicate ed è disponibile un RFC sulle impostazioni di chunking di compromesso.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
-
oI95%Assemble corpuses of data from various prior performance research initiatives ( both within and outside of PL )-
💯Enumerate/obtain test datasets -
90%Document rationales for the test datasets -
95%Publish all of the above as plain HTTP + IPFS pinned download
-
-
oI85%Document prior art, motivation and precise scope and types of sought metrics-
💯Solicit/assemble feedback from various stakeholders -
💯Collect/determine relevance of existing academic research into chunking ( 14 distinct papers selected for evaluation ) -
💯Convert the pre-PL chunk-tester to proper multi-streaming, to dramatically lower the cost of experiments( aiming at about 500 megabyte/s stream processing )with the correct implementation and hardware about 3.5GiB/s standard ingestion 🎉 -
80%Generate few preliminary datapoints to aid understanding the goal/scope -
90%In depth study/evaluation/application of findings from above works -
💯Understand and reuse existing go-ipfs implementations of CDCs ( Rabin + Buzzhash ) in a simpler go-ipfs independent utility, allowing rapid retries of different parameters -
💯Same as above but pertaining to linking strategies ( trickle-dag etc ), as ignoring the link-layer of streams skews the results disproportionately -
98%( subsumes a large portion of points belowv0.1ETA: DEMO AT TEAM-WEEK ) Fully implement a standalone CLI utility re-implementing/converging withgo-ipfson all above algorithms. The distinguishing feature of said tool is the exposure of each chunker/linker as an atomic, composable primitive. The UX is similar to that offfmpegwhereby an input stream is processed via multiple "filters", with the result being a stream of blocks with a statistic on their counts/sizes plus a valid IPFS CID. Current remaining tasks:-
💯Profile/optimize baseline stream ingestion, ensure there is no penalty from applying a "null-filter", which allows one to benchmark a particular hardware setup's theoritcal maximum throughput -
💯Finalize the "stackable chunkers" UI/UX, allowing effortless demonstration of impact of such chunker chains on the -
💯Adjust statistics compilation/output for the above ( it currently looks like this, ignoring various "filter-levels" ) -
💯Make final pass on memory allocation profile and fixup obvious low hanging fruit beforev0.1 -
80%README / godoc / stuffz
-
-
80%Rewrite previously utilized plotly.js-based visualiser to aid with the above point
-
-
oIOpen document to a short discussion soliciting feedback from workgroups -
oIIPerform a number of "brute force" tests aiming at reproducible results ( utilizing https://github.com/ipfs/testground )for the purposes of what we are trying to quantifyiptbwill be sufficient -
oII( half-covered by initial writeup ) Convert raw results into multi-dimensional scatter-plot visualizations ( plotly.js ) -
oIIICombine all available results into a "compromise chunking settings" RFC document -
oIVPublish the results for discussion and decision of the level of incorporation into IPFS implementations ( default parameters, use of selected algorithm by default, etc )
- Lingua principale
- HTML
- Stelle
- 1.2k
- Fork
- 250
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di ipfs/specs
-
Simplify Spec StatusesApertaneed/triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
-
need/triage
Difficoltà 5/5 Più di una settimana Idoneità per principianti 30/100
-
dnslink:// URIsApertaneed/triage
Difficoltà 5/5 Più di una settimana Idoneità per principianti 30/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
-
need/triage
Difficoltà 3/5 1-2 giorni Idoneità per principianti 55/100
Issue simili
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
yantrikos/yantrik-os#1271 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
danielmiessler/LifeOS#2830 ·
I maintainer di solito rispondono entro 6 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
akitaonrails/ai-memory#2314 ·
I maintainer di solito rispondono entro 1 giorno
-
bug priority: low
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
nledford/Ladderback#809 ·
I maintainer di solito rispondono entro 1 giorno
-
enhancement good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
clickswave/crossfyre-toolchain#47 ·
I maintainer di solito rispondono entro 1 giorno