Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Allow multiple `do_node_execute` adapters

Đang mở
  • Có gì không ổn?
#1,388 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
30/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
data-engineering

Hướng nghiên cứu

Bắt đầu bằng cách lần theo quá trình khởi tạo Hamilton driver và cách xử lý các adapter triển khai hook do_node_execute. Công việc được xem là hoàn tất khi có thể cung cấp nhiều adapter như vậy với thứ tự wrapping được xác định, đồng thời hành vi này được kiểm thử và tài liệu hóa cho người dùng.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

caching enhancement plugin

Is your feature request related to a problem? Please describe.
I am trying to use Hamilton caches with a custom implementation of the GracefulErrorAdapter already available in Hamilton. Since both caching and the error handling adapter use the do_node_execute hook, driver instantiation fails when specifying a cache and the error handling adapter.

Describe the solution you'd like
I would like to be able to instantiate a Hamilton driver with more than one adapter using the do_node_execute hook. The behavior of the driver would then depend on some precedence for the order in which the adapters wrap the node. This precedence would likely be determined by considerations within Hamilton, but should be fairly obvious to the user.

Describe alternatives you've considered

Subclassing the base Hamilton driver myself and implementing my custom error adapter within this subclass.
Not using caching
  • - Makes my pipelines slower on reruns, no benefit from code versioning etc.
  • + No maintenance cost or complexity for metadata store or result store.
Not using an error handling adapter
  • - Any failure within one node in the pipeline means no results for any nodes. This is awful when we have nodes which will fail under certain conditions but should not cause the pipeline to fail.
  • - Achieving "graceful" error handling otherwise (i.e., error checking in every node) increases code complexity with little gain.

Additional context

Less relevant to the feature request:
The primary change my GracefulErrorAdapter implementation makes from the Hamilton implementation is passing context about the error forward instead of just a sentinel value. I'm making a Hamilton pipeline that has lots of finnicky computer vision code within which is usually not worth writing complex error checking for. I wouldn't mind contributing this adapter to the project so that I can get more eyes on it.

Ngôn ngữ chính
Jupyter Notebook
Star
2.6k
Fork
221
Merge trung bình
2 ngày 1 phút
Pull request đã merge (30 ngày)
17

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/hamilton

Tất cả issue của apache/hamilton

Issue tương tự

Thêm issue về Data Engineering

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.