Static memory used by engines

オープン

#694 2022年4月19日に作成コメント 2 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 4/5
見積もり時間: 3〜5日
初心者へのやさしさ: 25/100

issue の種類: バグ
明瞭さ: 説明が足りない
活発さ: 停滞
技術スタック: jupyter, python
領域: distributed-systems, performance

調査の方向性

報告されたセットアップを再現することから始めます。2つのnode上で16個のengineを起動し、htopの説明どおりに各nodeのベースラインメモリと起動後のメモリを比較します。engineプロセスとnannyプロセスの使用量を分離し、その後、engineの静的な割り当ての内訳を特定します。アイドル状態のengineあたりのメモリフットプリントを削減し、同じ測定で変更を検証できれば完了です。

索引モデルが issue の本文から書いたものです。

説明

It seems like the engines use a lot of "static" memory, i.e. when we start the engines, they take up noticeable memory even when nothing has been executed. In our testing, we started 16 engines across 2 nodes, and as soon as we did, the memory usage on each node went from ~150MB to ~1.2GB, i.e. it seems like 8 engines consume ~1.05GB static memory. This is of course both the engine and nanny process, but based on htop , almost all of it seems to come from the engine process. ~134MB static memory usage per engine seems a bit high. Is there a way we could reduce this?

主要言語: Jupyter Notebook
スター: 2.6k
フォーク: 1k
PR マージ指標: 30日以内にマージされた PR はありません

コントリビューションガイド

コントリビューションガイドを開く

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

ipython/ipyparallel のほかの issue

Option of defining an environment script for starting engines (with SSHEngineSetLauncher) オープン

難易度 4/5 3〜5日初心者へのやさしさ 48/100

ipython/ipyparallel#1029 · コメント 9 件 · 2026年6月25日に作成
pidigits example website is gone オープン

難易度 2/5 1〜3時間初心者へのやさしさ 35/100

ipython/ipyparallel#984 · 2026年2月12日に作成
Client.result_status(..., status_only=False) fails in _extract_metadata with TypeError: 'NoneType' object is not subscriptable オープン

難易度 4/5 3〜5日初心者へのやさしさ 35/100

ipython/ipyparallel#937 · コメント 4 件 · 2025年4月6日に作成
Packages and definitions loaded in the regular kernel are not known by engines and vice versa オープン

question

難易度 5/5 1週間以上初心者へのやさしさ 25/100

ipython/ipyparallel#897 · コメント 12 件 · 2024年10月22日に作成
Outstanding task on client but hub says completed when using broadcast view オープン

bug

難易度 4/5 3〜5日初心者へのやさしさ 35/100

ipython/ipyparallel#882 · 2024年5月22日に作成

ipython/ipyparallel の issue をすべて見る

似ている issue

[BUG] @mastra/inngest: errors thrown inside durable steps lose their original stack (and error type) — Inngest only sees the wrapper frame オープン

bug customer-eng Durable Agents Inngest status: needs triage

難易度 2/5 1〜3時間初心者へのやさしさ 82/100

mastra-ai/mastra#24748 · コメント 1 件 · 2026年9月22日に作成
Mute ydb/core/kqp/ut/federated_query/datastreams 5 tests in main オープン

ai_reviewed

難易度 2/5 1〜3時間初心者へのやさしさ 68/100

ydb-platform/ydb#53838 · コメント 3 件 · 2026年9月22日に作成
pad_training_input_batch pads TensorList fields with tensor[0].clone() — loss-masked pad rows carry a real row's payload (ragged-consumer crash; wrong pixel_values/image_grid_thw on pad rows) オープン

難易度 2/5 1〜3時間初心者へのやさしさ 82/100

NovaSky-AI/SkyRL#2263 · 2026年9月22日に作成
A RabbitMQ bridge can keep a stale consumer tag and never consume again オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

johanhaleby/occurrent#1106 · 2026年9月22日に作成
ShuffleManagerRegistry.register recursion guard is inverted, permits GlutenShuffleManager subclasses オープン

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

apache/gluten#13099 · 2026年9月22日に作成

Distributed Systems の issue をもっと見る