本项目的所有源代码内容仅供个人学习和参考之用，禁止用于任何商业用途。任何人或组织不得将本仓库的内容用于非法用途或侵犯他人合法权益。
点击查看更为详细的免责声明。点击跳转
📌 快速导航： 项目介绍 · AI Agent Skill · 功能列表 · 获取访问权限 · 仓库列表 · 更新日志
MediaCrawler的Pro版本python实现
小红书爬虫，抖音爬虫，快手爬虫，B站爬虫，微博爬虫，知乎爬虫，贴吧爬虫，Reddit爬虫...。
支持多平台、多种数据的爬取与存储，最重要的是完美支持多账号+IP代理池，让你的爬虫更加稳定。 相较于MediaCrawler，Pro版本最大的变化：
- 增加断点续爬，可以恢复上次爬取的进度。
- 支持多账号+IP代理池，让爬虫更加稳定。
- 去掉 Playwright 依赖，爬虫主干更轻量。
- 新增签名服务，解耦签名逻辑，让爬虫更加灵活。
- 支持多个平台的首页信息流推荐（HomeFeed）和热搜榜单爬取。
- 新增自媒体视频下载器桌面端（适合学习全栈开发）。
- 附赠多个 AI Agent 项目源码：内容拆解、图片生成、评论分析。
MediaCrawlerPro的cli能力支持以 Skill 的形式安装到 AI Coding Agent 中，让 Agent 具备自媒体数据爬取能力，对 Agent 说句话就能自动爬取数据。
支持的 Agent 平台：
- OpenClaw 🦞 — 一键安装 Skill
- Claude Code — 复制到
~/.claude/skills/目录 - Codex — 复制到
~/.codex/skills/目录 - Cursor / Windsurf — 复制到项目规则目录
🤖 附赠：ContentRemixAgent - AI内容分析Agent
基于 LangGraph Agent 架构的内容分析工具，帮助创作者快速分析爆款内容、提取创作灵感。
核心功能：
- 多平台内容解析：支持小红书、抖音、B站、快手等平台链接解析
- 视频转文字：自动提取视频音频并转录为文字
- 爆款元素拆解：AI 分析内容结构、选题技巧、情绪价值等爆款因素
- 分析报告生成：基于分析结果生成结构化的内容拆解报告
技术栈：FastAPI + LangGraph + React + TailwindCSS
🎨 附赠：PicTacticAgent - AI智能图片生成工具
基于 LangGraph 多轮迭代工作流的图片生成工具，彻底解决文生图"抽卡"问题。
同样支持以 Skill 形式安装到 OpenClaw 🦞 和 Claude Code 中，让 AI Agent 一句话就能生成高质量图片。
核心功能：
- OpenClaw / Claude Code Skill 集成：安装 Skill 后，对 Agent 说"帮我生成一张封面图"即可自动调用
- 多轮迭代生成：自动评估 + 迭代优化，告别手动"抽卡"
- 199条精选模板库：经 Vision LLM 锦标赛筛选的高质量提示词模板
技术栈：FastAPI + LangGraph + React 19 + TailwindCSS 4，支持 Web / CLI / Skill 三种使用方式
🆕 新上线：VoxAgent - AI评论分析Agent
输入关键词、博主主页或内容链接，自动调用 MediaCrawlerPro 采集评论，由大模型逐条标注，再由程序统计并生成研究报告。
核心功能：
- 三种研究入口：关键词、博主主页、单条内容链接，支持 B站、小红书、抖音、Reddit
- 逐条标注：情绪、意图、立场、讨论方面
- 结论可核对：报告里的数字由程序统计，每段结论都能回到原评论
- 断点继续：研究可随时暂停，从已保存的进度继续，已完成的标注不重复计费
- 报告导出：HTML、Markdown、PDF
技术栈：Python + TypeScript（Fastify + React），模型调用基于 Pi Agent，支持 DeepSeek、Kimi、智谱 GLM、通义千问、Claude、OpenAI 等模型
| 平台 | 断点续爬 | 关键词搜索 | 指定帖子ID爬取 | 二级评论 | 创作者主页 | 首页推荐信息流 | 账号池+IP代理池 | 热搜 |
|---|---|---|---|---|---|---|---|---|
| 小红书 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ |
| 抖音 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 快手 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| B 站 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 知乎 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 微博 | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ✅ | ✅ |
如果感兴趣可以加我微信，订阅Pro版本访问权限，有门槛💰。订阅后可以访问下方仓库列表中全部项目的源代码。
⚠️ ⚠️ 仅针对个人想学习Pro版本源码实现的用户，如果是公司或者商业化盈利性质的就不要加我了，谢谢🙏代码设计扩展性强，可以自行扩展更多爬虫平台和数据存储方式，适合学习爬虫项目的架构设计。
扫描下方我的个人微信，备注：pro版本
如果两个微信扫码都显示频繁添加的话，可以尝试通过搜索微信号：nmcode、relakkes 这两个都可以
 个人微信 |
 个人微信2（备用） |
- 🧹 MediaCrawlerPro-Python: 开源项目MediaCrawler的重构，移除playwright、增加多账号IP代理、代码优化.
- 🎯 MediaCrawlerPro-SignSrv: 爬虫JS签名逻辑单独抽出来作为最底层依赖服务.
- 🔗 MediaCrawlerPro-Downloader: 新开发的自媒体平台视频（图片）下载器，一个全栈项目，包含前端+后端+爬虫，适合学习全栈开发.
- 🍪 MediaCrawlerPro-CookieBridge: Chrome Extension + Server，自动同步浏览器 Cookie，告别手动复制粘贴.
- 🛠️ MediaCrawlerPro-Golang: Golang语言版本，目前实现了最基本的xhs流程，开发中 .
- 🤖 MediaCrawlerPro-ContentRemixAgent: AI驱动的内容分析Agent，基于LangGraph Agent架构，支持多平台内容解析、视频转文字、爆款元素拆解和分析报告生成.
- 🎨 PicTacticAgent: AI智能图片生成工具，支持 OpenClaw / Claude Code Skill 集成，基于LangGraph多轮迭代工作流，内置199条精选模板库，告别文生图"抽卡".
- 💬 MediaCrawlerPro-VoxAgent: 🆕 AI评论分析Agent，输入关键词或链接，自动采集评论、逐条标注，生成可回到原评论核对的研究报告.
AI驱动的内容分析Agent，支持多平台内容解析、爆款元素拆解
 |
 |
 |
 |
 |
 |
前端：electorn + vue3 + ts + vite + elementui-plus。后端：Python+Tornado+Httpx+Pydantic
 |
 |
AI智能图片生成，多轮迭代自动优化，内置精选模板库
 |
 |
采集评论、逐条标注、生成研究报告，结论可以回到原评论核对
 |
 |
- 账号池管理 & 支持excel和mysql两种方式
- 小红书爬虫重构
- 微博爬虫重构
- B站爬虫重构
- 抖音爬虫重构
- 快手爬虫重构
- Pro版本使用教程视频录制
- 知乎关键词爬虫支持
- 知乎创作者主页爬虫支持
- 知乎指定帖子支持
- 账号池管理再次重构
- 知乎支持爬取一个问答下的所有回答
- MediaCrawlerPro-Downloader视频下载器开发完成
- 知乎支持断点续爬
- AI内容分析Agent（ContentRemixAgent）
- AI Agent Skill 支持 & CookieBridge Cookie自动同步
- AI图片生成Agent（PicTacticAgent）
- 多平台热搜榜单爬取
- Reddit 爬虫支持
- AI评论分析Agent（VoxAgent）
本项目（以下简称“本项目”）是作为一个技术研究与学习工具而创建的，旨在探索和学习网络数据采集技术。本项目专注于自媒体平台的数据爬取技术研究，旨在提供给学习者和研究者作为技术交流之用。
本项目开发者（以下简称“开发者”）郑重提醒用户在下载、安装和使用本项目时，严格遵守中华人民共和国相关法律法规，包括但不限于《中华人民共和国网络安全法》、《中华人民共和国反间谍法》等所有适用的国家法律和政策。用户应自行承担一切因使用本项目而可能引起的法律责任。
本项目严禁用于任何非法目的或非学习、非研究的商业行为。本项目不得用于任何形式的非法侵入他人计算机系统，不得用于任何侵犯他人知识产权或其他合法权益的行为。用户应保证其使用本项目的目的纯属个人学习和技术研究，不得用于任何形式的非法活动。
开发者已尽最大努力确保本项目的正当性及安全性，但不对用户使用本项目可能引起的任何形式的直接或间接损失承担责任。包括但不限于由于使用本项目而导致的任何数据丢失、设备损坏、法律诉讼等。
本项目的知识产权归开发者所有。本项目受到著作权法和国际著作权条约以及其他知识产权法律和条约的保护。用户在遵守本声明及相关法律法规的前提下，可以下载和使用本项目。
关于本项目的最终解释权归开发者所有。开发者保留随时更改或更新本免责声明的权利，恕不另行通知。