小红书 creator 爬取失败

Đang mở
  • Có gì không ổn?
#985 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
65/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
data, web-dev

Hướng nghiên cứu

The error occurs in core.py line 215 when parsing a creator URL, with a JSON parsing error at a specific character. Start by examining the XiaoHongShuCrawler.get_creators_and_notes method in core.py and the client.py file to see how the API response is handled. Check the raw response data around character 63533 to understand the malformed JSON. Run the command with debug logging to capture the full response.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

bug

🐛 问题描述

小红书， 爬取 creator 的内容失败

📝 复现步骤

  1. 不需要任何修改，直接运行下文中的命令，连默认的url都无法下载

💻 运行环境

  • 操作系统: linux
  • Python版本: 3.14.7
  • 是否使用IP代理: no
  • 是否使用VPN翻墙软件：no
  • 目标平台(抖音/小红书/微博等): 小红书

📋 错误日志

uv run main.py --platform xhs --lt qrcode --type creator
2026-09-24 08:59:06 MediaCrawler INFO (core.py:83) - [XiaoHongShuCrawler] Launching browser using CDP mode
2026-09-24 08:59:06 MediaCrawler INFO (cdp_browser.py:152) - [CDPBrowserManager] Connecting to existing browser on port 9222...
2026-09-24 08:59:06 MediaCrawler INFO (cdp_browser.py:155) - [CDPBrowserManager] Make sure remote debugging is enabled in your browser: chrome://inspect/#remote-debugging
2026-09-24 08:59:06 MediaCrawler INFO (cdp_browser.py:163) - [CDPBrowserManager] Waiting up to 60s for browser CDP connection...
2026-09-24 08:59:06 MediaCrawler INFO (cdp_browser.py:237) - [CDPBrowserManager] CDP port 9222 is accessible
2026-09-24 08:59:06 MediaCrawler INFO (cdp_browser.py:322) - [CDPBrowserManager] Connecting to existing browser via CDP: ws://localhost:9222/devtools/browser
2026-09-24 08:59:06 MediaCrawler INFO (cdp_browser.py:323) - [CDPBrowserManager] Please check your browser for a confirmation dialog and accept it
2026-09-24 08:59:14 MediaCrawler INFO (cdp_browser.py:349) - [CDPBrowserManager] Successfully connected to browser
2026-09-24 08:59:14 MediaCrawler INFO (cdp_browser.py:350) - [CDPBrowserManager] Browser contexts count: 1
2026-09-24 08:59:14 MediaCrawler INFO (cdp_browser.py:375) - [CDPBrowserManager] Using existing browser context
2026-09-24 08:59:14 MediaCrawler INFO (cdp_browser.py:194) - [CDPBrowserManager] Successfully connected to existing browser
2026-09-24 08:59:14 MediaCrawler INFO (core.py:466) - [XiaoHongShuCrawler] CDP browser info: {'version': '153.0.8010.52', 'contexts_count': 1, 'debug_port': 9222, 'is_connected': True}
2026-09-24 08:59:25 MediaCrawler INFO (core.py:386) - [XiaoHongShuCrawler.create_xhs_client] Begin create Xiaohongshu API client ...
2026-09-24 08:59:25 MediaCrawler INFO (client.py:269) - [XiaoHongShuClient.pong] Begin to check login state...
2026-09-24 08:59:26 MediaCrawler INFO (client.py:280) - [XiaoHongShuClient.pong] Login state result: True
2026-09-24 08:59:26 MediaCrawler INFO (core.py:198) - [XiaoHongShuCrawler.get_creators_and_notes] Begin get Xiaohongshu creators
2026-09-24 08:59:26 MediaCrawler INFO (core.py:203) - [XiaoHongShuCrawler.get_creators_and_notes] Parse creator URL info: user_id='5f58bd990000000001003753' xsec_token='ABYVg1evluJZZzpMX-VWzchxQ1qSNVW3r-jOEnKqMcgZw=' xsec_source='pc_search'
2026-09-24 08:59:26 MediaCrawler ERROR (core.py:215) - [XiaoHongShuCrawler.get_creators_and_notes] Failed to parse creator URL: Expecting value: line 1 column 63534 (char 63533)
2026-09-24 08:59:26 MediaCrawler INFO (core.py:135) - [XiaoHongShuCrawler.start] Xhs Crawler finished ...
2026-09-24 08:59:26 MediaCrawler INFO (cdp_browser.py:475) - [CDPBrowserManager] Browser connection disconnected
2026-09-24 08:59:26 MediaCrawler INFO (cdp_browser.py:492) - [CDPBrowserManager] Connected to existing browser, skipping process cleanup
Ngôn ngữ chính
Python
Star
70.7k
Fork
13.4k
Merge trung bình
2 ngày 5 giờ
Pull request đã merge (30 ngày)
3

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của NanmiCoder/MediaCrawler

Tất cả issue của NanmiCoder/MediaCrawler

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.