Support import of partial CARs without prefetching the full DAG
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- javascript, react
- Lĩnh vực
- frontend
Hướng nghiên cứu
Bắt đầu với luồng nhập tệp CAR của giao diện web và hành vi của ipfs dag import được mô tả trong issue, sau đó theo dõi cách các block đã nhập được pin trước khi garbage collection. Hoàn thành có nghĩa là người dùng có thể nhập một CAR một phần, giữ lại các liên kết mà nó chứa qua GC mà không cần prefetch toàn bộ DAG, và chọn có giữ lại nội dung rộng hơn hay không.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Is your feature request related to a problem? Please describe.
H: As a user, I would expect that when I import a CAR file that it is retained, including all the links it contains, and that parts are not lost through GC.Many links in my NFTs are of this type and as the owner of these I would also like to save them and make them available.
I would be interested to know whether all links are retained when I import the CAR file into Storacha or Filbase.
Describe the solution you'd like
We should allow users the option of pinning all content automatically when importing a car, so NFT owners do not lose content when GC is ran, but they can also only import the content for the car they import.
Describe alternatives you've considered
- Auto pinning all blocks/CIDs in a car recursively - bad because sometimes folks don't want to do this.. but then they could also remove it easily manually.. which is more likely: importing a car and deleting it later, or importing a car and always keeping all of it?
- ???
Additional context
From user convo on slack
C: I have downloaded a partial car file of
collection_cid/image123.pngWhen I import that car file into kubo with ipfs dag import collection_cid_image123.png.car
Then done ipfs files cp /ipfs/collection_cid/image123.png
How to ensure the parent cid (collection cid) is not garbage collected?
C: I have tested
ipfs pin add <collection_cid>/image.png
ipfs pin add -r=false <collection_cid>
Now I can fetch the ipfs link <collection_cid>/image.png
But when I run garbage collection I cant fetch the link <collection_cid>/image.png anymore. I can only fetch the cid of the image.png
How to prevent, that the parent CID <collection_cid> of the link is not garbage collected?
C: I am offline and I dont want to do ipfs pin add <collection_cid> online, because it then pins the whole collection directory with all files inside which is super big in size.
C: When offline. I import the car and pin the root and parent cid. And the I can fetch the link /image123.png But after running garbage collection the link is gone.
H:
ipfs pin add --recursive=false <collection_cid>that will pin only the root cid without pinning the full collection, so that it can resolve <collection_cid>/image.png just fine later. This is all assuming the collection is not huge and the root cid is not a "sharded" repository spanning several blocks.
C: Many thanks Hector. That helps me a lot. 🙏 Yes, that's right, when I direct pin the collection_cid with
ipfs pin add --recursive=false collection_cid
my link<collection_cid>/image123.pngis resolved without any problems, even when I run the garbage collection.
But for some very large collections_cids, that's not enough, because of the issue you alluded to in your answer.How should I proceed then? :face_with_monocle:
I don't want the links, which are actually in the car file, to be lost due to garbage collection.
Example:
https://ipfs.io/ipfs/bafybeih4aaint73mwasanappkamkimwjaoe2m7pm6cagfoamjutxzbt76a/7345.png?format=car
C: Now I understand why the links that are present in the CAR files no longer work after I ran the garbage collection. I would not have expected that. 😢 Why is there no option for ipfs dag import to pin the root cid (recursive pin) and also all parent cids (direct pin).
Even the import of car files in ipfs-desktop via the webgui does not do this. Then the car import is useless for me if all links that are present in the car file are lost after running garbage collection. 😢
H: so... if the root directory is sharded, you would need to pin at least one level of subblocks... you can ipfs refs -r --max-depth 1 and then pin each cid individually. That should be enough for moderately big directories already.
C: The complicated process should take place automatically when importing the car file with ipfs dag import carfile.car or in the webui Import CAR file.
cc @lidel @agmap
- Ngôn ngữ chính
- JavaScript
- Star
- 1.6k
- Fork
- 539
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của ipfs/ipfs-webui
-
need/triage
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
ipfs/ipfs-webui#2454 ·
-
Stories anonymous objectĐang mởneed/triage
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 45/100
ipfs/ipfs-webui#2391 · 3 bình luận ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 28/100
ipfs/ipfs-webui#2359 · 3 bình luận · 1 reaction ·
-
feat: create shortcut component that can be used on any pageCó thể đã có người làm @george-hub331 đã nhận 588 ngày trước. Đang mởP3
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
ipfs/ipfs-webui#2350 · 2 bình luận ·
-
epic: typescript migrationCó thể làm lại được @ChayanDass đã nhận 242 ngày trước và không có pull request nào đang mở. Đang mởeffort/months Epic exp/intermediate help wanted kind/architecture kind/enhancement P1 status/ready
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
ipfs/ipfs-webui#2349 · 5 bình luận · 1 reaction ·
Tất cả issue của ipfs/ipfs-webui
Issue tương tự
-
Band: compact mode never draws on Claude Code 2.1.292 (level Button has a Text child)Có thể đã có người làm @Bunty9 đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
DietrichGebert/ponytail#1437 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
huggingface/transformers.js#1945 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Update: HTTP Headers Cheat SheetĐang mởACK_WAITING HELP_WANTED UPDATE_CS
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
OWASP/CheatSheetSeries#2977 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
backend bug frontend
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
freshframework/fresh#3920 ·