generate tasks within a kind concurrently
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 35/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- python
- 領域
- devops, performance
調査の方向性
Start in src/taskgraph/generator.py around lines 76-89, where transforms are currently run serially for tasks within a kind. Investigate safe worker-thread or process approaches and when their setup overhead is worthwhile, then benchmark generation for the tests kind and smaller kinds. Done means transforms run concurrently without changing generated results and performance impact is measured.
索引モデルが issue の本文から書いたものです。
説明
In #5 we've discussed parallelizing the loading of kinds to improve decision task performance. One of the discoveries in that thread was that for Gecko (where we have the longest decision task), this would only incrementally improve performance. As it turns out, most of the work is inside of the test kind, and kind-level concurrency won't help there at all.
Something we could do to improve generate within a kind is to concurrently run transforms for individual tasks. This is currently done serially over here, and AFAICT, there should be nothing stopping us from running those across multiple threads or processes. It's unclear to me if this will be a massive win, but in a quick test it appears there are ~22,000 calls to transforms for the tests kind, so presumably it would be something.
We may need some sort of intelligent way to push these into worker threads/processes; it's possible that for kinds with just a few tasks that the overhead of setup/teardown would be more than the reduction we'd get from the concurrency. Perhaps a minimum number tasks should be needed before spawning workers (either an absolute number, or one relative to the number of workers we'd spawn, which would presumably be based on the # of cores available).
- 主要言語
- Python
- スター
- 26
- フォーク
- 55
- 平均マージ
- 2日 6分
- マージ済み PR(30日)
- 15
コントリビューションガイド
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
taskcluster/taskgraph のほかの issue
-
Dependency Dashboard オープン
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
taskcluster/taskgraph#952 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
taskcluster/taskgraph#915 ·
-
feature
難易度 3/5 1〜2日 初心者へのやさしさ 35/100
taskcluster/taskgraph#911 · コメント 1 件 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 45/100
taskcluster/taskgraph#882 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
taskcluster/taskgraph#865 · コメント 1 件 ·
taskcluster/taskgraph の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
anthropics/skills#1811 · コメント 1 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
speaches-ai/speaches#678 ·
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
datalayer/mcp-compose#42 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
conda-forge/spacy-feedstock#177 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
UKGovernmentBEIS/inspect_evals#2523 ·