Research/quantify performance envelopes of multiple CDC algorighms
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 20/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- go
- Lĩnh vực
- cli, data-visualization, distributed-systems, performance
Hướng nghiên cứu
Bắt đầu với checklist chưa được đánh dấu cho tiện ích CLI độc lập, phần công việc về README/godoc và các triển khai chunker/linker hiện có được mô tả trong issue. Sau đó xem xét các bài kiểm thử brute-force đã lên kế hoạch với IPFS testground và các hình trực quan hóa bằng plotly.js. Hoàn tất có nghĩa là có các kết quả hiệu năng có thể tái lập, các dataset và phạm vi được lập tài liệu, các hình trực quan hóa được công bố, cùng một RFC về các thiết lập chunking thỏa hiệp.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
-
oI95%Assemble corpuses of data from various prior performance research initiatives ( both within and outside of PL )-
💯Enumerate/obtain test datasets -
90%Document rationales for the test datasets -
95%Publish all of the above as plain HTTP + IPFS pinned download
-
-
oI85%Document prior art, motivation and precise scope and types of sought metrics-
💯Solicit/assemble feedback from various stakeholders -
💯Collect/determine relevance of existing academic research into chunking ( 14 distinct papers selected for evaluation ) -
💯Convert the pre-PL chunk-tester to proper multi-streaming, to dramatically lower the cost of experiments( aiming at about 500 megabyte/s stream processing )with the correct implementation and hardware about 3.5GiB/s standard ingestion 🎉 -
80%Generate few preliminary datapoints to aid understanding the goal/scope -
90%In depth study/evaluation/application of findings from above works -
💯Understand and reuse existing go-ipfs implementations of CDCs ( Rabin + Buzzhash ) in a simpler go-ipfs independent utility, allowing rapid retries of different parameters -
💯Same as above but pertaining to linking strategies ( trickle-dag etc ), as ignoring the link-layer of streams skews the results disproportionately -
98%( subsumes a large portion of points belowv0.1ETA: DEMO AT TEAM-WEEK ) Fully implement a standalone CLI utility re-implementing/converging withgo-ipfson all above algorithms. The distinguishing feature of said tool is the exposure of each chunker/linker as an atomic, composable primitive. The UX is similar to that offfmpegwhereby an input stream is processed via multiple "filters", with the result being a stream of blocks with a statistic on their counts/sizes plus a valid IPFS CID. Current remaining tasks:-
💯Profile/optimize baseline stream ingestion, ensure there is no penalty from applying a "null-filter", which allows one to benchmark a particular hardware setup's theoritcal maximum throughput -
💯Finalize the "stackable chunkers" UI/UX, allowing effortless demonstration of impact of such chunker chains on the -
💯Adjust statistics compilation/output for the above ( it currently looks like this, ignoring various "filter-levels" ) -
💯Make final pass on memory allocation profile and fixup obvious low hanging fruit beforev0.1 -
80%README / godoc / stuffz
-
-
80%Rewrite previously utilized plotly.js-based visualiser to aid with the above point
-
-
oIOpen document to a short discussion soliciting feedback from workgroups -
oIIPerform a number of "brute force" tests aiming at reproducible results ( utilizing https://github.com/ipfs/testground )for the purposes of what we are trying to quantifyiptbwill be sufficient -
oII( half-covered by initial writeup ) Convert raw results into multi-dimensional scatter-plot visualizations ( plotly.js ) -
oIIICombine all available results into a "compromise chunking settings" RFC document -
oIVPublish the results for discussion and decision of the level of incorporation into IPFS implementations ( default parameters, use of selected algorithm by default, etc )
- Ngôn ngữ chính
- HTML
- Star
- 1.2k
- Fork
- 250
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của ipfs/specs
-
Simplify Spec StatusesĐang mởneed/triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
-
Revise steward and editor rolesĐang mởneed/triage
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100
-
dnslink:// URIsĐang mởneed/triage
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
-
need/triage
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 55/100
Issue tương tự
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
yantrikos/yantrik-os#1271 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
danielmiessler/LifeOS#2830 ·
Maintainer thường phản hồi trong vòng 6 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
akitaonrails/ai-memory#2314 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug priority: low
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
nledford/Ladderback#809 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
enhancement good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
clickswave/crossfyre-toolchain#47 ·
Maintainer thường phản hồi trong vòng 1 ngày