External resources: replace PVC-usage with dependency sources
維護者通常 1 天內回覆
還沒有人認領這個 Issue。
評估
- 難度
- 5/5
- 預估耗時
- 一週以上
- 新手友好度
- 25/100
- Issue 類型
- 功能
- 描述清晰度
- 基本清楚
- 活躍度
- 停滯
- 技術堆疊
- kubernetes, rust
研究方向
檢查目前以 PVC 為基礎的測試和文件，並在決定剩餘工作之前確認 issue #177 是否已實作。完成的標準是 dependencySources 可以在不使用共用 PVC 儲存空間的情況下提供 S3Bucket 等外部來源；或者，如果不存在 #177，則從測試和文件中移除 PVC 的使用。
由索引模型根據 Issue 內容生成。
描述
As a user I want to be able to make external resources and dependencies available to pods.
Previously this was implemented using PVCs, which was not independent of cluster capabilities (Access modes for PVCs etc.). A alternative solution is to dispense with PVCs and instead implement a dependencySources that will use a complex enum to expose different sources. In this example below, this will be an S3Bucket:-
---
apiVersion: s3.stackable.tech/v1alpha1
kind: S3Bucket
metadata:
name: my-bucket-resource1
spec:
bucketName: my-example-bucket1
connection:
reference: my-connection-resource
---
apiVersion: spark.stackable.tech/v1alpha1
kind: SparkApplication
...
spec:
...
driver:
...
dependencySources:
# Use "#[serde(flatten)]" in a complex enum called e.g. "Source"
# allowing s3Bucket (and maybe hdfsFolder or url later on)
- s3Bucket: # Option<S3BucketRef>
inline: [...]
# or
reference: my-bucket-resource1
When a dependencySources is declared for a role, the contents of this source will be copied to an internally defined path (not visible to the user) on the respective pods, from where it can be accessed as required. In other words, where previously a job was started to copy resources to a (usually RWX) PVC - which was then used to back a volume mounted for roles - the same mechanism will be used without using shared storage. This adds some redundancy, but a) is independent of PV storage classes and b) is more transparent for the user.
If #177 has not been implemented, then:
- remove PVC-usage from tests and documentation
- N.B. inform @backstreetkiwi when this is complete so that node labels can be removed from T2 cluster nodes
- 主要語言
- Rust
- 星號
- 32
- 分支
- 6
- 平均合併
- 1 天 9 小時
- 30 天內合併 PR
- 17
環境準備
- 沒有 Dockerfile 或 Docker Compose 檔案
- 有 Pull Request 範本
- 沒有貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
stackabletech/airflow-operator 的其他 Issue
-
good first issue type/feature-improvement
難度 4/5 3-5 天 新手友好度 45/100
stackabletech/airflow-operator#760 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 42/100
stackabletech/airflow-operator#697 · 1 則留言 ·
維護者通常 1 天內回覆
-
難度 5/5 一週以上 新手友好度 25/100
stackabletech/airflow-operator#638 ·
維護者通常 1 天內回覆
-
type/feature-new
難度 5/5 一週以上 新手友好度 25/100
stackabletech/airflow-operator#593 ·
維護者通常 1 天內回覆
-
type/feature-new
難度 5/5 一週以上 新手友好度 25/100
stackabletech/airflow-operator#592 · 1 則留言 ·
維護者通常 1 天內回覆
查看 stackabletech/airflow-operator 的全部 Issue
相似的 Issue
-
難度 2/5 1-3 小時 新手友好度 64/100
維護者通常 2 天內回覆
-
難度 2/5 1-3 小時 新手友好度 72/100
維護者通常 8 天內回覆
-
難度 2/5 1-3 小時 新手友好度 82/100
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 78/100
swc-project/swc#12576 ·
維護者通常 1 天內回覆
-
good first issue gpu serve
難度 2/5 1-3 小時 新手友好度 78/100
維護者通常 1 天內回覆