question about writing parallel and group handling

Đang mở
  • Có gì không ổn?
#172 39 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
20/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
cpp
Lĩnh vực
data, distributed-systems

Hướng nghiên cứu

Issue không nêu tệp hoặc bài kiểm thử nào. Hãy bắt đầu với TensorStore C++ API và tài liệu Zarr hiện có, sau đó lần theo các phương pháp kvstore-path và chunk-writing được mô tả trong câu hỏi. Công việc được xem là hoàn tất khi có một phương pháp đã được thống nhất và ghi chép đầy đủ cho việc tạo hệ phân cấp và ghi song song dựa trên MPI.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

I'm using the tensorstore C++ API to write a Zarr file, and I need to address these two issue in my code:
1- I want to create a group like Zarr Python and create a hierarchy of namespace and datasets. Right now, I'm handling it using kvstore path while creating them. What is the optimal way? This approach takes more time than the Python version!

2- I'm trying to write data into each chunk parallelly. I wanted to avoid multithreading for now and use mpi instead. I'm writing everything from scratch for this purpose as I couldn't find anything in the documentation. Is there any better way to avoid multithreading?

Thanks

Ngôn ngữ chính
C++
Star
1.6k
Fork
151
Không có pull request nào được merge trong 30 ngày

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của google/tensorstore

Tất cả issue của google/tensorstore

Issue tương tự

Thêm issue về C++

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.