Ability to define number of CPU/GPUs to be used when creating the TF Session
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- scala, spark, tensorflow
- Lĩnh vực
- distributed-systems, machine-learning
Hướng nghiên cứu
Bắt đầu bằng cách xác định nơi tensorframes tạo TensorFlow Session bên trong các nút executor của Spark, sau đó đọc phần xử lý tài nguyên và cấu hình xung quanh. Xác định cách các bên gọi sẽ chỉ định số lượng CPU và GPU, cũng như cách kiểm tra việc hoàn tất mà không chiếm dụng tài nguyên từ các workload không liên quan; issue không nêu tên tệp hoặc kiểm thử nào, vì vậy trước tiên phải xác định entry point liên quan và phương pháp validation.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Tensorflow provides means to specify the number of CPU/GPUs to be used for each Session. Otherwise, it will try to use all CPUs available in the machine. Currently tensorframes does provide any means to specify this information and it ends up tensorflow using all the CPU cores in the executor nodes. This is more problematic when an executor has more than one cores assigned which results in more contention. An alternative would be to set only one core for each executor but this is not optimal in mix workloads where CNN inference is only a part of the workload.
- Ngôn ngữ chính
- Scala
- Star
- 743
- Fork
- 158
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của databricks/tensorframes
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
databricks/tensorframes#185 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
databricks/tensorframes#181 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100
databricks/tensorframes#179 ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 15/100
databricks/tensorframes#176 · 2 bình luận ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100
databricks/tensorframes#165 ·
Tất cả issue của databricks/tensorframes
Issue tương tự
-
Area: Excel support
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
orbeon/orbeon-forms#7893 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
chipsalliance/rocket-chip#3833 ·
-
ShuffleManagerRegistry.register recursion guard is inverted, permits GlutenShuffleManager subclasses Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
-
enhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100