Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

External resources: replace PVC-usage with dependency sources

Đang mở
  • Có gì không ổn?
#150 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
25/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
kubernetes, rust
Lĩnh vực
backend, infrastructure

Hướng nghiên cứu

Xem xét các bài kiểm thử và tài liệu hiện tại dựa trên PVC, đồng thời kiểm tra xem issue #177 đã được triển khai hay chưa trước khi quyết định phần việc còn lại. Được xem là hoàn tất khi dependencySources có thể cung cấp các nguồn bên ngoài như S3Bucket mà không cần bộ nhớ PVC dùng chung, hoặc nếu không có #177, việc sử dụng PVC được loại bỏ khỏi các bài kiểm thử và tài liệu.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

As a user I want to be able to make external resources and dependencies available to pods.

Previously this was implemented using PVCs, which was not independent of cluster capabilities (Access modes for PVCs etc.). A alternative solution is to dispense with PVCs and instead implement a dependencySources that will use a complex enum to expose different sources. In this example below, this will be an S3Bucket:-

---
apiVersion: s3.stackable.tech/v1alpha1
kind: S3Bucket
metadata:
  name: my-bucket-resource1
spec:
  bucketName: my-example-bucket1
  connection:
    reference: my-connection-resource
---
apiVersion: spark.stackable.tech/v1alpha1
kind: SparkApplication
...
spec:
  ...
  driver:
    ...
    dependencySources:
        # Use "#[serde(flatten)]" in a complex enum called e.g. "Source" 
        # allowing s3Bucket (and maybe hdfsFolder or url later on)
        - s3Bucket: # Option<S3BucketRef>
            inline: [...]
            # or
            reference: my-bucket-resource1

When a dependencySources is declared for a role, the contents of this source will be copied to an internally defined path (not visible to the user) on the respective pods, from where it can be accessed as required. In other words, where previously a job was started to copy resources to a (usually RWX) PVC - which was then used to back a volume mounted for roles - the same mechanism will be used without using shared storage. This adds some redundancy, but a) is independent of PV storage classes and b) is more transparent for the user.

If #177 has not been implemented, then:

  • remove PVC-usage from tests and documentation
    • N.B. inform @backstreetkiwi when this is complete so that node labels can be removed from T2 cluster nodes
Ngôn ngữ chính
Rust
Star
32
Fork
6
Merge trung bình
21 giờ 38 phút
Pull request đã merge (30 ngày)
13

Chuẩn bị môi trường

  • Không có Dockerfile hay tệp Docker Compose
  • Có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của stackabletech/airflow-operator

Tất cả issue của stackabletech/airflow-operator

Issue tương tự

Thêm issue về Rust

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.