docs: 更新uv安装文档

2025-11-25 03:15:17 +08:00 · 2025-06-29 00:07:13 +08:00
parent e83b2422d9
commit 0514758cff
1 changed files with 188 additions and 86 deletions
--- a/README.md
+++ b/README.md
@@ -1,5 +1,10 @@
-# 🔥 自媒体平台爬虫🕷️MediaCrawler🔥 
-<a href="https://trendshift.io/repositories/8291" target="_blank"><img src="https://trendshift.io/api/badge/repositories/8291" alt="NanmiCoder%2FMediaCrawler | Trendshift" style="width: 250px; height: 55px;" width="250" height="55"/></a>
+# 🔥 MediaCrawler - 自媒体平台爬虫 🕷️
+
+<div align="center">
+
+<a href="https://trendshift.io/repositories/8291" target="_blank">
+  <img src="https://trendshift.io/api/badge/repositories/8291" alt="NanmiCoder%2FMediaCrawler | Trendshift" style="width: 250px; height: 55px;" width="250" height="55"/>
+</a>

 [![GitHub Stars](https://img.shields.io/github/stars/NanmiCoder/MediaCrawler?style=social)](https://github.com/NanmiCoder/MediaCrawler/stargazers)
 [![GitHub Forks](https://img.shields.io/github/forks/NanmiCoder/MediaCrawler?style=social)](https://github.com/NanmiCoder/MediaCrawler/network/members)
@@ -7,6 +12,8 @@
 [![GitHub Pull Requests](https://img.shields.io/github/issues-pr/NanmiCoder/MediaCrawler)](https://github.com/NanmiCoder/MediaCrawler/pulls)
 [![License](https://img.shields.io/github/license/NanmiCoder/MediaCrawler)](https://github.com/NanmiCoder/MediaCrawler/blob/main/LICENSE)

+</div>
+
 > **免责声明：**
 > 
 > 大家请以学习为目的使用本仓库⚠️⚠️⚠️⚠️，[爬虫违法违规的案件](https://github.com/HiddenStrawberry/Crawler_Illegal_Cases_In_China)  <br>
@@ -15,15 +22,17 @@
 >
 > 点击查看更为详细的免责声明。[点击跳转](#disclaimer)

-# 仓库描述
+## 📖 项目简介

-**小红书爬虫**，**抖音爬虫**， **快手爬虫**， **B站爬虫**， **微博爬虫**，**百度贴吧爬虫**，**知乎爬虫**...。  
-目前能抓取小红书、抖音、快手、B站、微博、贴吧、知乎等平台的公开信息。
+一个功能强大的**多平台自媒体数据采集工具**，支持小红书、抖音、快手、B站、微博、贴吧、知乎等主流平台的公开信息抓取。

-原理：利用[playwright](https://playwright.dev/)搭桥，保留登录成功后的上下文浏览器环境，通过执行JS表达式获取一些加密参数
-通过使用此方式，免去了复现核心加密JS代码，逆向难度大大降低。
+### 🔧 技术原理

-# 功能列表
+- **核心技术**：基于 [Playwright](https://playwright.dev/) 浏览器自动化框架登录保存登录态
+- **无需JS逆向**：利用保留登录态的浏览器上下文环境，通过 JS 表达式获取签名参数
+- **优势特点**：无需逆向复杂的加密算法，大幅降低技术门槛
+
+## ✨ 功能特性
 | 平台   | 关键词搜索 | 指定帖子ID爬取 | 二级评论 | 指定创作者主页 | 登录态缓存 | IP代理池 | 生成评论词云图 |
 | ------ | ---------- | -------------- | -------- | -------------- | ---------- | -------- | -------------- |
 | 小红书 | ✅          | ✅              | ✅        | ✅              | ✅          | ✅        | ✅              |
@@ -34,83 +43,165 @@
 | 贴吧   | ✅          | ✅              | ✅        | ✅              | ✅          | ✅        | ✅              |
 | 知乎   | ✅          | ✅              | ✅        | ✅              | ✅          | ✅        | ✅              |

-### MediaCrawlerPro重磅发布啦！！！
-> 主打学习成熟项目的架构设计，不仅仅是爬虫，Pro中的其他代码设计思路也是值得学习，欢迎大家关注！！！

-[MediaCrawlerPro](https://github.com/MediaCrawlerPro) 版本已经重构出来了，相较于开源版本的优势：
- 支持断点续爬功能（重点！）
- 多账号+IP代理支持（重点！）
- 去除Playwright依赖，使用更加简单
- 支持linux环境使用
- 代码重构优化，更加易读易维护（解耦JS签名逻辑）
- 代码质量更高，对于构建更大型的爬虫项目更加友好
- 完美的架构设计，更加易扩展，源码学习的价值更大
- Pro中新增全新的自媒体视频下载器桌面端软件（适合学习全栈项目开发）
- 支持多个平台的首页信息流推荐（HomeFeed）
+### 🚀 MediaCrawlerPro 重磅发布！

+> 专注于学习成熟项目的架构设计，不仅仅是爬虫技术，Pro 版本的代码设计思路同样值得深入学习！

-# 安装部署方法
-> 开源不易，希望大家可以Star一下MediaCrawler仓库！！！！十分感谢！！！ <br>
+[MediaCrawlerPro](https://github.com/MediaCrawlerPro) 相较于开源版本的核心优势：

-## 前置依赖
+#### 🎯 核心功能升级
+- ✅ **断点续爬功能**（重点特性）
+- ✅ **多账号 + IP代理池支持**（重点特性）
+- ✅ **去除 Playwright 依赖**，使用更简单
+- ✅ **完整 Linux 环境支持**

-### uv 安装
-> 在进行下一步操作之前, 请确保电脑上已经安装了uv，[uv安装地址](https://docs.astral.sh/uv/getting-started/installation)
-> 
-> uv是否安装成功的验证, 终端输入命令：uv --version  如果正常显示版本好，那证明已经安装成功
-> 
-> 强力安利 uv 给大家使用，简直是最强的python包管理工具
->
+#### 🏗️ 架构设计优化
+- ✅ **代码重构优化**，更易读易维护（解耦 JS 签名逻辑）
+- ✅ **企业级代码质量**，适合构建大型爬虫项目
+- ✅ **完美架构设计**，高扩展性，源码学习价值更大

-### nodejs安装
-项目依赖nodejs，安装地址：https://nodejs.org/en/download/
-> 如果要用python的原生venv来管理环境的话，可以参考: [原生环境管理文档](docs/原生环境管理文档.md)
+#### 🎁 额外功能
+- ✅ **自媒体视频下载器桌面端**（适合学习全栈开发）
+- ✅ **多平台首页信息流推荐**（HomeFeed）
+- [ ] **基于自媒体平台的AI Agent正在开发中 🚀🚀**

-### python包安装
+点击查看：[MediaCrawlerPro 项目主页](https://github.com/MediaCrawlerPro) 更多介绍
+
+## 🚀 快速开始
+
+> 💡 **开源不易，如果这个项目对您有帮助，请给个 ⭐ Star 支持一下！**
+
+## 📋 前置依赖
+
+### 🚀 uv 安装（推荐）
+
+在进行下一步操作之前，请确保电脑上已经安装了 uv：
+
+- **安装地址**：[uv 官方安装指南](https://docs.astral.sh/uv/getting-started/installation)
+- **验证安装**：终端输入命令 `uv --version`，如果正常显示版本号，证明已经安装成功
+- **推荐理由**：uv 是目前最强的 Python 包管理工具，速度快、依赖解析准确
+
+<details>
+<summary>🔗 <strong>使用 Python 原生 venv 管理环境（不推荐）</strong></summary>
+
+#### 创建并激活 Python 虚拟环境
+
+> 如果是爬取抖音和知乎，需要提前安装 nodejs 环境，版本大于等于：`16` 即可
+
+```shell
+# 进入项目根目录
+cd MediaCrawler
+
+# 创建虚拟环境
+# 我的 python 版本是：3.9.6，requirements.txt 中的库是基于这个版本的
+# 如果是其他 python 版本，可能 requirements.txt 中的库不兼容，需自行解决
+python -m venv venv
+
+# macOS & Linux 激活虚拟环境
+source venv/bin/activate
+
+# Windows 激活虚拟环境
+venv\Scripts\activate
+```
+
+#### 安装依赖库
+
+```shell
+pip install -r requirements.txt
+```
+
+#### 安装 playwright 浏览器驱动
+
+```shell
+playwright install
+```
+
+#### 运行爬虫程序（原生环境）
+
+```shell
+# 项目默认是没有开启评论爬取模式，如需评论请在 config/base_config.py 中的 ENABLE_GET_COMMENTS 变量修改
+# 一些其他支持项，也可以在 config/base_config.py 查看功能，写的有中文注释
+
+# 从配置文件中读取关键词搜索相关的帖子并爬取帖子信息与评论
+python main.py --platform xhs --lt qrcode --type search
+
+# 从配置文件中读取指定的帖子ID列表获取指定帖子的信息与评论信息
+python main.py --platform xhs --lt qrcode --type detail
+
+# 打开对应APP扫二维码登录
+
+# 其他平台爬虫使用示例，执行下面的命令查看
+python main.py --help
+```
+
+</details>
+
+### 🟢 Node.js 安装
+
+项目依赖 Node.js，请前往官网下载安装：
+
+- **下载地址**：https://nodejs.org/en/download/
+- **版本要求**：>= 16.0.0
+
+### 📦 Python 包安装

 ```shell
 # 进入项目目录
 cd MediaCrawler

-# 使用 uv sync 命令来保证python版本和相关依赖包的一致性
+# 使用 uv sync 命令来保证 python 版本和相关依赖包的一致性
 uv sync
 ```

-### 浏览器驱动安装
+### 🌐 浏览器驱动安装
+
 ```shell
 # 安装浏览器驱动
-playwright install
+uv run playwright install
 ```
-> MediaCrawler目前已经支持使用playwright连接你本地的Chrome浏览器了，一些因为Webdriver导致的问题迎刃而解了。
-> 
-> 目前开放了 xhs 和 dy 这两个使用 cdp 的方式连接本地浏览器，如有需要，查看config/base_config.py中的配置项。

-## 运行爬虫程序
+> **💡 提示**：MediaCrawler 目前已经支持使用 playwright 连接你本地的 Chrome 浏览器了，一些因为 Webdriver 导致的问题迎刃而解了。
+>
+> 目前开放了 `xhs` 和 `dy` 这两个使用 CDP 的方式连接本地浏览器，如有需要，查看 `config/base_config.py` 中的配置项。

-   ```shell
-   ### 项目默认是没有开启评论爬取模式，如需评论请在config/base_config.py中的 ENABLE_GET_COMMENTS 变量修改
-   ### 一些其他支持项，也可以在config/base_config.py查看功能，写的有中文注释
-   
-   # 从配置文件中读取关键词搜索相关的帖子并爬取帖子信息与评论
-   uv run main.py --platform xhs --lt qrcode --type search
-   
-   # 从配置文件中读取指定的帖子ID列表获取指定帖子的信息与评论信息
-   uv run main.py --platform xhs --lt qrcode --type detail
-  
-   # 打开对应APP扫二维码登录
-     
-   # 其他平台爬虫使用示例，执行下面的命令查看
-   uv run main.py --help    
-   ``` 
+## 🚀 运行爬虫程序

-## 数据保存
- 支持关系型数据库Mysql中保存（需要提前创建数据库）
-    - 执行 `python db.py` 初始化数据库数据库表结构（只在首次执行）
- 支持保存到csv中（data/目录下）
- 支持保存到json中（data/目录下）
+```shell
+# 项目默认是没有开启评论爬取模式，如需评论请在 config/base_config.py 中的 ENABLE_GET_COMMENTS 变量修改
+# 一些其他支持项，也可以在 config/base_config.py 查看功能，写的有中文注释

-# 项目微信交流群
-[加入微信交流群](https://nanmicoder.github.io/MediaCrawler/%E5%BE%AE%E4%BF%A1%E4%BA%A4%E6%B5%81%E7%BE%A4.html)
+# 从配置文件中读取关键词搜索相关的帖子并爬取帖子信息与评论
+uv run main.py --platform xhs --lt qrcode --type search
+
+# 从配置文件中读取指定的帖子ID列表获取指定帖子的信息与评论信息
+uv run main.py --platform xhs --lt qrcode --type detail
+
+# 打开对应APP扫二维码登录
+
+# 其他平台爬虫使用示例，执行下面的命令查看
+uv run main.py --help
+```
+
+## 💾 数据保存
+
+支持多种数据存储方式：
+
+- **MySQL 数据库**：支持关系型数据库 MySQL 中保存（需要提前创建数据库）
+  - 执行 `python db.py` 初始化数据库表结构（只在首次执行）
+- **CSV 文件**：支持保存到 CSV 中（`data/` 目录下）
+- **JSON 文件**：支持保存到 JSON 中（`data/` 目录下）
+
+---
+
+## 🤝 社区与支持
+
+### 💬 交流群组
+- **微信交流群**：[点击加入](https://nanmicoder.github.io/MediaCrawler/%E5%BE%AE%E4%BF%A1%E4%BA%A4%E6%B5%81%E7%BE%A4.html)
+
+### 📚 文档与教程
+- **在线文档**：[MediaCrawler 完整文档](https://nanmicoder.github.io/MediaCrawler/)
+- **爬虫教程**：[CrawlerTutorial 免费教程](https://github.com/NanmiCoder/CrawlerTutorial)
  

 # 其他常见问题可以查看在线文档
@@ -125,35 +216,41 @@ playwright install
 [作者的知识付费栏目介绍](https://nanmicoder.github.io/MediaCrawler/%E7%9F%A5%E8%AF%86%E4%BB%98%E8%B4%B9%E4%BB%8B%E7%BB%8D.html)


-# 感谢下列Sponsors对本仓库赞助支持
-<a href="https://www.swiftproxy.net/?ref=nanmi">
-<img src="docs/static/images/img_5.png">
-<br>
-Swiftproxy-90M+全球高质量纯净住宅IP，注册可领免费500MB测试流量，动态流量不过期！
-> 我推荐的专属折扣码：GHB5 立享九折优惠！
-</a>
+---

-<br>
-<br>
-<a href="https://sider.ai/ad-land-redirect?source=github&p1=mi&p2=kk">【Sider】全网最火的ChatGPT插件，我也免费薅羊毛用了快一年了，体验拉满。</a>
+## ⭐ Star 趋势图

-成为赞助者，可以将您产品展示在这里，每天获得大量曝光，联系作者微信：yzglan 或 email：relakkes@gmail.com
-
-
-# 爬虫入门课程
-我新开的爬虫教程Github仓库 [CrawlerTutorial](https://github.com/NanmiCoder/CrawlerTutorial) ，感兴趣的朋友可以关注一下，持续更新，主打一个免费.
-
-# star 趋势图
- 如果该项目对你有帮助，帮忙 star一下 ❤️❤️❤️，让更多的人看到MediaCrawler这个项目
+如果这个项目对您有帮助，请给个 ⭐ Star 支持一下，让更多的人看到 MediaCrawler！

 [![Star History Chart](https://api.star-history.com/svg?repos=NanmiCoder/MediaCrawler&type=Date)](https://star-history.com/#NanmiCoder/MediaCrawler&Date)

+### 💰 赞助商展示

-# 参考
+<a href="https://www.swiftproxy.net/?ref=nanmi">
+<img src="docs/static/images/img_5.png">
+<br>
+**Swiftproxy** - 90M+ 全球高质量纯净住宅IP，注册可领免费 500MB 测试流量，动态流量不过期！
+> 专属折扣码：**GHB5** 立享九折优惠！
+</a>

- xhs客户端 [ReaJason的xhs仓库](https://github.com/ReaJason/xhs)
- 短信转发 [参考仓库](https://github.com/pppscn/SmsForwarder)
- 内网穿透工具 [ngrok](https://ngrok.com/docs/)
+<br><br>
+
+<a href="https://sider.ai/ad-land-redirect?source=github&p1=mi&p2=kk">**Sider** - 全网最火的 ChatGPT 插件，体验拉满！</a>
+
+### 🤝 成为赞助者
+
+成为赞助者，可以将您的产品展示在这里，每天获得大量曝光！
+
+**联系方式**：
+- 微信：`yzglan`
+- 邮箱：`relakkes@gmail.com`
+
+
+## 📚 参考
+
+- **小红书客户端**：[ReaJason 的 xhs 仓库](https://github.com/ReaJason/xhs)
+- **短信转发**：[SmsForwarder 参考仓库](https://github.com/pppscn/SmsForwarder)
+- **内网穿透工具**：[ngrok 官方文档](https://ngrok.com/docs/)


 # 免责声明
@@ -179,7 +276,12 @@ Swiftproxy-90M+全球高质量纯净住宅IP，注册可领免费500MB测试流
 </div>


-## 感谢JetBrains提供的免费开源许可证支持
+## 🙏 致谢
+
+### JetBrains 开源许可证支持
+
+感谢 JetBrains 为本项目提供免费的开源许可证支持！
+
 <a href="https://www.jetbrains.com/?from=MediaCrawler">
    <img src="https://www.jetbrains.com/company/brand/img/jetbrains_logo.png" width="100" alt="JetBrains" />
 </a>