injectlib/MediaCrawler
1
0
Fork 0
mirror of https://github.com/NanmiCoder/MediaCrawler.git synced 2025-11-25 03:15:17 +08:00
Code Issues Packages Projects Releases Wiki Activity
610 Commits 4 Branches 0 Tags
codex/fix-issue-with-mediacrawler-functionality
Commit Graph

610 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
程序员阿江-Relakkes
3237073a0e Improve BrowserLauncher cleanup handling 2025-09-26 16:52:38 +08:00
程序员阿江-Relakkes
7b9db2f748 Merge pull request #726 from LePao1/main 
feat(bilibili)：增加视频清晰度参数，可以通过`BILI_QN`更改下载的视频清晰度；
 2025-09-25 01:58:24 +08:00
LePao1
3954c40e69 feat(bilibili)：增加视频清晰度参数，可以通过BILI_QN更改下载的视频清晰度； 
在 BilibiliClient 中添加视频质量配置并改进错误处理，修复下载请求被 302 重定向到 CDN，旧代码未跟随重定向且只接受 “OK” ，导致失败，现在即便是低清晰度/CDN 跳转的链接也能正常下载。
 2025-09-24 12:27:16 +08:00
程序员阿江(Relakkes)
e2554288e0 docs: update README 2025-09-23 09:46:44 +08:00
程序员阿江-Relakkes
1342797486 Merge pull request #718 from persist-1/refactor 
fix(store): 修复'crawler_type_var'的不当使用导致csv/json保存文件名异常的bug
 2025-09-11 06:45:26 +08:00
persist-1
926ea9dc42 fix: 修复路径分隔符连接方式不当导致的路径格式问题 
- 修改'async_file_writer.py'中'_get_file_path'返回值由字符串连接改为直接用正斜杠拼接路径，以确保路径分隔符的统一
- 修改获取文件保存时间后缀方式为'get_current_date'，以'天'为文件内容划分点
 2025-09-11 00:35:02 +08:00
persist-1
a6d85b4194 sync #717 2025-09-11 00:00:06 +08:00
persist-1
0d0af57a01 fix(store): 修复'crawler_type_var'的不当使用导致csv/json保存文件名异常的bug 2025-09-10 23:47:05 +08:00
程序员阿江-Relakkes
4b346cfb61 Merge pull request #716 from persist-1/refactor 
Refactor: 使用 SQLAlchemy ORM 全面重构数据库层
 2025-09-10 14:38:39 +08:00
程序员阿江-Relakkes
bf7a0098bd Merge pull request #717 from wisty/patch-1 
log client modify
 2025-09-09 17:14:37 +08:00
刘小龙
c87df59996 log client modify 2025-09-09 15:27:46 +08:00
persist-1
d3bebd039e refactor(database): 调整数据库模块位置、调整初始化arg名称，并更新文档 
- 将 db.py 数据库模块移入‘database/‘中，并修正所有调用代码
- 将初始化参数 `--init-db` 改为 `--init_db`
- 更新相关文档说明
 2025-09-08 01:14:31 +08:00
persist-1
99756612b4 chore: 移除先前被同步的sqlite数据库，让用户自行进行初始化 2025-09-08 00:40:55 +08:00
persist-1
95a3dc8ce1 chore: 删除不必要的注释 2025-09-08 00:37:57 +08:00
persist-1
40de0e47e5 fix(store): 将async for循环替换为async with语句来修复zhihu数据库会话管理 2025-09-08 00:29:04 +08:00
persist-1
a38058856f test: 添加数据库同步测试脚本用于ORM与数据库结构对比与同步 
fix(database): 修复大量不适当的字段类型
 2025-09-08 00:13:00 +08:00
persist-1
684a16ed9a fix(数据库): 修复模型字段类型以支持更广泛的数据格式； 
修复xhs评论存储方法，从批量处理改为单条处理
 2025-09-07 04:10:49 +08:00
persist-1
b04f5bcd6f feat(database): 优化数据库模型和连接管理 
- 添加cryptography依赖用于加密功能
- 重构数据库模型字段类型和约束
- 增加数据库自动创建功能
- 改进数据库连接管理和错误处理
- 更新相关依赖文件(pyproject.toml, requirements.txt)
 2025-09-06 06:08:28 +08:00
persist-1
0965bd6c96 fix: 使用 get_current_time() 替代 get_current_date() 以避免文件名因同日期而冲突 2025-09-06 04:43:56 +08:00
persist-1
e92c6130e1 fix(store): 修复存储实现的AsyncFileWriter导入 
重构小红书存储实现，将store_comments方法改为处理单个评论的store_comment
为多个平台添加AsyncFileWriter工具类导入
 2025-09-06 04:41:37 +08:00
persist-1
be306c6f54 refactor(database): 重构数据库存储实现，使用SQLAlchemy ORM替代原始SQL操作 
- 删除旧的async_db.py和async_sqlite_db.py实现
- 新增SQLAlchemy ORM模型和数据库会话管理
- 统一各平台存储实现到_store_impl.py文件
- 添加数据库初始化功能支持
- 更新.gitignore和pyproject.toml依赖配置
- 优化文件存储路径和命名规范
 2025-09-06 04:10:20 +08:00
程序员阿江(Relakkes)
fa5f07e9ee docs: update README.md 2025-09-05 17:51:36 +08:00
程序员阿江(Relakkes)
6b6fedd031 fix: #711 2025-09-02 18:57:18 +08:00
程序员阿江(Relakkes)
2bce3593f7 feat: support time deplay for all platform 2025-09-02 16:43:09 +08:00
程序员阿江(Relakkes)
eb799e1fa7 refactor: xhs extractor 2025-09-02 14:50:32 +08:00
程序员阿江-Relakkes
ce52c58b98 Merge pull request #707 from CzsGit/fix-douyin-json-format 
fix: 为抖音JSON存储添加格式化输出
 2025-08-18 19:15:50 +08:00
Czs-HF
48da268bc5 fix: 为抖音JSON存储添加格式化输出 
- 在DouyinJsonStoreImplement.save_data_to_json方法中添加indent=4参数
- 使抖音JSON输出格式与小红书保持一致，提高可读性
- 解决JSON文件所有内容都在一行的问题
 2025-08-16 12:52:37 +08:00
程序员阿江(Relakkes)
9e8c979164 fix: note_download_url field length error 2025-08-14 14:57:24 +08:00
程序员阿江(Relakkes)
4a68e79ed0 docs: update README.md 2025-08-12 22:25:21 +08:00
程序员阿江-Relakkes
526c37822b Merge pull request #700 from 2513502304/main 
将捕获异常的类型由HTTPStatusError换成基类HTTPError，以便正确处理爬取媒体资源出现任何错误时，都不会导致爬取评论的中断，详情参见提交记录
 2025-08-06 17:26:29 +08:00
翟持江
2c11e64dc9 Merge branch 'NanmiCoder:main' into main 2025-08-06 11:39:42 +08:00
未来可欺
6a10d0d11c 原始的HTTPStatusError不能捕获像ConnectError、ReadError这些异常类型，本次提交修改了捕获异常的类型为httpx模块请求异常的基类：HTTPError，以便捕获在httpx.request方法中引发的任何异常（例如ip被封，服务器拒接连接），正确处理爬取媒体被中断时并不会导致爬取文本的中断逻辑 2025-08-06 11:24:51 +08:00
程序员阿江-Relakkes
e4e0f659e0 Merge pull request #699 from 2513502304/main 
添加了对媒体资源服务器的异常处理，参见 issue #691
 2025-08-05 16:11:03 +08:00
未来可欺
81f2dbe4ab 添加了对媒体资源服务器的异常处理，参见 issue #691 2025-08-05 13:11:00 +08:00
程序员阿江(Relakkes)
b9d30bbabb fix: #693 2025-08-01 15:55:21 +08:00
程序员阿江(Relakkes)
12450759d8 fix: httpx proxy format error 
feat: add a ip proxy provider
 2025-08-01 01:05:11 +08:00
程序员阿江-Relakkes
0024ce6ab4 feat: upgrade httpx version to 0.28.1 
fix issue #689
 2025-07-31 23:19:08 +08:00
未来可欺
a6fd9ebdbc 简单更改了抖音保存图片与视频的命名方式，一个视频 id 仅对应一个短视频，返回一个 video_download_url，因此不需要使用数字方式进行命名 2025-07-31 23:11:45 +08:00
未来可欺
0b81240aed 升级 httpx 版本至 0.28.1，并修改关键字参数 proxies 至 proxy 2025-07-31 22:48:02 +08:00
未来可欺
9d90e9fc6d fix issue #689，目前来看，应该是 httpx 库的问题，因为无论是使用同步还是异步版本，构不构造 httpx.***Client 对象来发起请求，返回的响应都是为空，response.content = b''，response.text = ’‘，但换成 requests 库就能正常获取数据了 2025-07-31 22:01:48 +08:00
程序员阿江-Relakkes
a1535289c1 Merge pull request #687 from 2513502304/main 
添加抖音平台爬取短视频以及帖子图片的逻辑，并规范目前实现爬取媒体的抖音、b站、小红书、微博四个平台存储逻辑
 2025-07-30 23:06:35 +08:00
未来可欺
e9f976117a 将配置文件恢复原状 2025-07-30 21:32:00 +08:00
翟持江
082c316345 Merge branch 'NanmiCoder:main' into main 2025-07-30 21:28:29 +08:00
程序员阿江-Relakkes
c61ed57a20 fix: 二维码在部分系统无法显示 #685 
fix: #685
 2025-07-30 21:26:41 +08:00
未来可欺
93a1c27fff 通过测试search模式，修复部分运行时的bug，并对能够爬取媒体的平台设置了较长的超时时间 2025-07-30 21:19:56 +08:00
GokoRuri
87caf07495 fix: #685 2025-07-30 21:14:37 +08:00
未来可欺
a7cc18ec7d 修改部分文档 2025-07-30 18:58:10 +08:00
未来可欺
ecddfbe02c 将store文件夹中后缀名为_video或_image的.py文件统一更名为以_media.py为结尾的命名方式，避免某些平台仅有_video.py文件或_image.py文件的单独实现。之后的所有存储视频或图像的代码均放在此文件中实现 2025-07-30 18:32:08 +08:00
未来可欺
173bc08a9d 添加了抖音存储视频以及图片的逻辑，并将config.py中ENABLE_GET_IMAGES参数更名为ENABLE_GET_MEIDAS，在此基础上略微修改存储逻辑 2025-07-30 18:24:08 +08:00
程序员阿江(Relakkes)
417c39de69 docs: add a sponsor 2025-07-30 16:44:10 +08:00