Add Circle/x402 paid crawl endpoint for autonomous agents
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 25/100
調査の方向性
Start by locating the existing /crawl, /crawl/job, /crawl/stream, and /llm/job API entry points and the crawl/job pipeline they use. Review how request schemas, authentication, and results are handled before defining the additive /x402/crawl behavior. Done would include the paid route, payment verification, crawl output with a receipt, and documentation of supported networks, pricing, schemas, and retries.
索引モデルが issue の本文から書いたものです。
説明
Proposal: add an optional Circle/x402 paid crawl endpoint for autonomous agents
I ran a static Circle/x402 readiness scan against Crawl4AI to see whether it could become an agent-payable service. Crawl4AI is a strong fit because agents already need on-demand crawling, extraction, and LLM-ready web data.
Readiness summary
- Score from the scan: 46/100 — good candidate, medium effort.
- The repo has meaningful primitives for crawling jobs, schemas, rate/concurrency concerns, and receipt/proof-like result concepts.
- I did not find x402 or Circle Agent Wallet/Marketplace-specific documentation.
- The scanner did not fully detect Crawl4AI's Python/FastAPI-style routes, but source references show Docker/API surfaces such as
/crawl,/crawl/job,/crawl/stream, and/llm/jobpatterns.
Why this is useful
AI agents often need one-off crawling or extraction without a long-lived API key, dashboard account, or shared credit pool. A Circle/x402 paid route would let an agent:
- Discover a paid crawl endpoint.
- Inspect price and input schema.
- Pay in USDC from a Circle Agent Wallet.
- Receive crawl output plus a receipt/proof object.
Suggested first implementation
Start with a narrow additive endpoint rather than changing the whole auth or deployment model:
POST /x402/crawl
-> return 402 Payment Required when no valid payment is supplied
-> verify x402 payment on Base/USDC
-> run the existing crawl/job pipeline
-> return { data, receipt }
A receipt shape for agent buyers could look like:
{
"receipt": {
"amount": "0.01",
"asset": "USDC",
"network": "base",
"resource": "POST /x402/crawl",
"requestHash": "sha256:...",
"resultHash": "sha256:...",
"jobId": "crawl_..."
}
}
Circle Agent Marketplace readiness docs
If this is interesting, I would also document:
- supported network(s)
- USDC price per crawl or per page
- request JSON schema
- response JSON schema
- receipt/proof object
- timeout and retry behavior
- how Circle Agent Wallet / x402 clients should pay
I generated this from Budcle, a small scanner for identifying Circle/x402 adoption gaps in open-source API projects: https://github.com/batikanor/Budcle
This is intentionally additive: existing Crawl4AI library usage, Docker deployment, and auth choices can remain unchanged while adding one agent-payable path for x402-capable clients.
- 主要言語
- Python
- スター
- 85.4k
- フォーク
- 8.9k
- 平均マージ
- 5日 7時間
- マージ済み PR(30日)
- 23
環境構築
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
unclecode/crawl4ai のほかの issue
-
[Bug]: Since 0.9.1, Linux launches chrome-headless-shell instead of Chromium対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信
-
[Bug]: BestFirstCrawlingStrategy fetches a full batch past max_pages対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
unclecode/crawl4ai#2381 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
[Bug]: CrawlerRunConfig.clone() drops fallback_fetch_function, so deep crawls never use it対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
メンテナーはふだん 1 日以内に返信
-
[Bug]: Docker memory guard reads host RAM when no container limit is set — cgroup v2 "max" defeats get_container_memory_percent対応中かも @Battleplus が 56 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
unclecode/crawl4ai#2123 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
[Bug]: After a streamed deep crawl is stopped early, the next deep crawl returns only the start page対応中かも @PiUnknown が 3 日前に担当しました。 オープン
難易度 4/5 1〜2日 初心者へのやさしさ 12/100
unclecode/crawl4ai#2380 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
unclecode/crawl4ai の issue をすべて見る
似ている issue
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
メンテナーはふだん 1 日以内に返信
-
Status: Triaged Type: Enhancement
難易度 1/5 1時間未満 初心者へのやさしさ 82/100
canonical/craft-store#448 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
メンテナーはふだん 1 日以内に返信
-
good first issue research size:s skill:numerics sub-issue
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
SKaiNET-developers/SKaiNET#1372 ·
メンテナーはふだん 1 日以内に返信
-
debt
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
microsoft/vscode-flake8#601 ·
メンテナーはふだん 1 日以内に返信