Hacktoberfest 2026：メンテナが10月に向けて印を付けた、オープンで初心者向けの issue。 Hacktoberfest の issue を見る

Threadmill uses 4 to 5 times more Redis CPU than dramatiq for each task

クローズ
  • 何か問題がありますか？
#66 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

関連するプルリクエストがすでにマージされています。

  • #69 @codingjoe による — マージ済み

評価

難易度
5/5
見積もり時間
1週間以上
初心者へのやさしさ
35/100
issue の種類
リファクタリング
明瞭さ
おおむね明確
活発さ
活発
技術スタック
python, redis
領域
backend, performance

調査の方向性

Start by tracing the Redis fetch and ack paths, then inspect how the reaper and inspector depend on lease visibility. Compare the alternatives against the benchmark measurements and verify that the chosen design preserves lease behavior while reducing server CPU per task.

索引モデルが issue の本文から書いたものです。

説明

perf real

Measured while the benchmark chart was explained. The chart ranking is not a story about the number of commands. Both queues issue about eleven Redis commands for each task (threadmill 11.03, dramatiq 11.15). The dramatiq number includes its five-command Results store. The difference is the cost of those commands.

threadmill dramatiq
commands per task (small payload) 11.03 11.15
server CPU per task 54.3 µs 11.7 µs
of which the script EVAL 43.4 µs 9.5 µs
server CPU per task, 5 KB payload 79.9 µs (+47%) 21.2 µs (+81%)

Two full JSON passes for each task explain the script cost of threadmill:

  • Fetch rewrites the task payload inside the script: HGET, cjson.decode, stamp RUNNING/last_attempted_at/worker_ids, cjson.encode, HSET. The dramatiq fetch uses LPOP and SADD for each id, plus one HMGET for each batch. It never touches the payload.
  • Ack writes the full serialized TaskResult (args, kwargs, errors, worker ids, return value) as one SET. It also writes a history ZADD, an eviction ZREMRANGEBYSCORE, and a telemetry PUBLISH.

Redis has one thread. Therefore this CPU load makes every other client wait. 2,000 tasks use about 108 ms of server time in threadmill against 23 ms in dramatiq.

Options, in order of cost:

  • Stamp the leased state outside the payload (a small hash field, or a separate status key or lease key). Then the fetch script stops the decode and encode of the payload.
  • Remove the telemetry PUBLISH for each task, or batch the events. The inspector only needs counts.
  • Amortize the history ZADD and the eviction. Do not run both for each ack.
  • Think again about the content of the stored result. The serialized TaskResult is the largest single write for each task.

The fetch-side change is the larger one. It also interacts with the lease visibility that the reaper and the inspector use. It is a design change, not a small correction. Filed out of scope for the prefetching branch, where it was found.

主要言語
Python
スター
21
フォーク
2
平均マージ
12時間 38分
マージ済み PR（30日）
27

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

似ている issue

Python の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。