Add resolved_kwargs to data_saver and data_loader tags
メンテナーはふだん 8 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 初心者へのやさしさ
- 48/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
hamilton/function_modifiers/adapters.py の578行目付近から始め、次に examples/parallelism/star_counting/run.py を実行し、dr.list_available_variables() と as_dict() を通じてノードタグを調べます。data_saver タグと data_loader タグの両方について resolved_kwargs がどのように生成されるかを確認します。完了条件は、データフローが実行される前に解決済みパスがメタデータに表示されることです。
索引モデルが issue の本文から書いたものです。
説明
Is your feature request related to a problem? Please describe.
When I have a built dataflow I would like to be able to see which paths are entered in @load_from and @save_to.
Describe the solution you'd like
After executing the dataflow I can see the paths in the results, but I'd like to be able to see them without executing the dataflow.
Some metadata is already being written to tags: https://github.com/DAGWorks-Inc/hamilton/blob/main/hamilton/function_modifiers/adapters.py#L578
I tested adding the following line there:
"hamilton.data_saver.kwargs": resolved_kwargs,
Then I tried running examples/parallelism/star_counting/run.py with the dr.execute statement replaced by:
node = next(
node for node in dr.list_available_variables() if node.name == "save.unique_stargazers"
)
print(node.as_dict()["tags"])
This gives the output I was hoping for:
{'hamilton.data_saver': True, 'hamilton.data_saver.sink': 'csv', 'hamilton.data_saver.classname': 'PandasCSVWriter', 'hamilton.data_saver.kwargs': {'path': 'unique_stargazers.csv'}}
Describe alternatives you've considered
Maybe a custom DataLoader and DataSaver that store the arguments they were initiated with?
- 主要言語
- Jupyter Notebook
- スター
- 2.6k
- フォーク
- 228
- 平均マージ
- 10日 7時間
- マージ済み PR（30日）
- 18
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
apache/hamilton のほかの issue
-
FunctionInputOutputTypeChecker rejects correct values for fixed-length tuple annotations (tuple[int, str])対応中かも @tarang-tp が 7 日前に担当しました。 オープンbug core-work
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
メンテナーはふだん 8 日以内に返信
-
Engine crashes when client sends nan or inf float to UI再び着手できるかも @Exudev が 249 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンbug SDK
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
apache/hamilton#1458 · コメント 5 件 ·
メンテナーはふだん 8 日以内に返信
-
More detailed type annotations in graph visualizations再び着手できるかも @Nishant-Manocha が 384 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
apache/hamilton#1383 · コメント 4 件 ·
メンテナーはふだん 8 日以内に返信
-
Documentation: add explainer for FastAPI再び着手できるかも @Aditya-Deshwal23 が 203 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンdocumentation
難易度 2/5 1〜2日 初心者へのやさしさ 65/100
apache/hamilton#1304 · コメント 5 件 ·
メンテナーはふだん 8 日以内に返信
-
Link back to github from reference API docs対応中かも @naikvaib が 41 日前に担当しました。 オープンdocumentation good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
apache/hamilton#572 · コメント 3 件 ·
メンテナーはふだん 8 日以内に返信
apache/hamilton の issue をすべて見る
似ている issue
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
retentioneering/retentioneering-tools#231 ·
メンテナーはふだん 1 日以内に返信
-
documentation good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
-
PyAV plugin: reading a frame near the end of a video returns the next frame, or raises StopIterationオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
MIT-LCP/wfdb-python#618 ·
メンテナーはふだん 1 日以内に返信
-
difficulty: medium enhancement help wanted
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 2 日以内に返信