injectlib/MediaCrawler
1
0
Fork 0
mirror of https://github.com/NanmiCoder/MediaCrawler.git synced 2025-11-25 11:29:27 +08:00
Code Issues Packages Projects Releases Wiki Activity
636 Commits 4 Branches 0 Tags
b61ec54a72db035d48c6895b899fb4c54a660a8f
Commit Graph

636 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
yt210
b61ec54a72 优化mongodb配置获取逻辑，移动存储基类位置。 2025-11-07 17:42:28 +08:00
yt210
ef6948b305 新增存储到mongoDB 2025-11-06 10:40:30 +08:00
程序员阿江(Relakkes)
ed6e0bfb5f refactor: tieba 改为浏览器获取数据 2025-10-19 17:09:55 +08:00
程序员阿江(Relakkes)
26a261bc09 Merge branch 'feature/config-refactor-20251018' 2025-10-19 15:32:42 +08:00
程序员阿江(Relakkes)
03e384bbe2 refactor: cdp模式下移除stealth注入 2025-10-19 15:32:03 +08:00
程序员阿江-Relakkes
56bf5d226f The configuration file supports URL crawling 
Feature/config refactor 20251018
 2025-10-18 07:42:14 +08:00
程序员阿江(Relakkes)
ae7955787c feat: kuaishou support url link 2025-10-18 07:40:10 +08:00
程序员阿江(Relakkes)
a9dd08680f feat: xhs support creator url link 2025-10-18 07:20:09 +08:00
程序员阿江(Relakkes)
cae707cb2a feat: douyin support url link 2025-10-18 07:00:21 +08:00
程序员阿江(Relakkes)
906c259cc7 feat: bilibili support url link 2025-10-18 06:30:20 +08:00
程序员阿江(Relakkes)
3b6fae8a62 docs: update README.md 2025-10-17 15:30:44 +08:00
程序员阿江-Relakkes
a72504a33d Merge pull request #739 from callmeiks/add-tikhub-sponsor 
docs: resize TikHub banner to smaller size
 2025-10-16 16:54:18 +08:00
Callmeiks
e177f799df docs: resize TikHub banner to smaller size 2025-10-16 01:51:55 -07:00
程序员阿江-Relakkes
1a5dcb6db7 Merge pull request #738 from callmeiks/add-tikhub-sponsor 
docs: add TikHub as sponsor
 2025-10-16 16:41:19 +08:00
Callmeiks
2c9eec544d docs: add TikHub as sponsor 2025-10-16 01:22:40 -07:00
程序员阿江(Relakkes)
d1f73e811c docs: update README.md 2025-10-12 21:19:11 +08:00
程序员阿江(Relakkes)
2d3e7555c6 docs: update README.md 2025-10-11 16:16:11 +08:00
程序员阿江(Relakkes)
3c5b9e8035 docs: update wechat qrcode 2025-10-02 14:27:10 +08:00
程序员阿江(Relakkes)
e6f3182ed7 Merge branch 'codex/replace-argparse-with-typer-for-cli' 2025-09-26 18:11:02 +08:00
程序员阿江(Relakkes)
2cf143cc7c fix: #730 2025-09-26 18:10:30 +08:00
程序员阿江-Relakkes
eb625b0b48 Merge pull request #729 from NanmiCoder/codex/replace-argparse-with-typer-for-cli 
feat(cli): migrate CLI argument parsing to Typer
 2025-09-26 18:08:21 +08:00
程序员阿江(Relakkes)
84f6f650f8 fix: typer args bugfix 2025-09-26 18:07:57 +08:00
程序员阿江-Relakkes
9d6cf065e9 fix(cli): support runtime without peps604 2025-09-26 17:38:50 +08:00
程序员阿江-Relakkes
95c740dee2 refine: harden typer cli defaults 2025-09-26 17:38:44 +08:00
程序员阿江-Relakkes
f97e0c18cd feat(cli): migrate argument parsing to typer 2025-09-26 17:21:47 +08:00
程序员阿江-Relakkes
879a72ea30 fix: 修复cdp启动的浏览器无法关闭的bug 
Improve BrowserLauncher shutdown reliability
 2025-09-26 16:57:48 +08:00
程序员阿江-Relakkes
3237073a0e Improve BrowserLauncher cleanup handling 2025-09-26 16:52:38 +08:00
程序员阿江-Relakkes
7b9db2f748 Merge pull request #726 from LePao1/main 
feat(bilibili)：增加视频清晰度参数，可以通过`BILI_QN`更改下载的视频清晰度；
 2025-09-25 01:58:24 +08:00
LePao1
3954c40e69 feat(bilibili)：增加视频清晰度参数，可以通过BILI_QN更改下载的视频清晰度； 
在 BilibiliClient 中添加视频质量配置并改进错误处理，修复下载请求被 302 重定向到 CDN，旧代码未跟随重定向且只接受 “OK” ，导致失败，现在即便是低清晰度/CDN 跳转的链接也能正常下载。
 2025-09-24 12:27:16 +08:00
程序员阿江(Relakkes)
e2554288e0 docs: update README 2025-09-23 09:46:44 +08:00
程序员阿江-Relakkes
1342797486 Merge pull request #718 from persist-1/refactor 
fix(store): 修复'crawler_type_var'的不当使用导致csv/json保存文件名异常的bug
 2025-09-11 06:45:26 +08:00
persist-1
926ea9dc42 fix: 修复路径分隔符连接方式不当导致的路径格式问题 
- 修改'async_file_writer.py'中'_get_file_path'返回值由字符串连接改为直接用正斜杠拼接路径，以确保路径分隔符的统一
- 修改获取文件保存时间后缀方式为'get_current_date'，以'天'为文件内容划分点
 2025-09-11 00:35:02 +08:00
persist-1
a6d85b4194 sync #717 2025-09-11 00:00:06 +08:00
persist-1
0d0af57a01 fix(store): 修复'crawler_type_var'的不当使用导致csv/json保存文件名异常的bug 2025-09-10 23:47:05 +08:00
程序员阿江-Relakkes
4b346cfb61 Merge pull request #716 from persist-1/refactor 
Refactor: 使用 SQLAlchemy ORM 全面重构数据库层
 2025-09-10 14:38:39 +08:00
程序员阿江-Relakkes
bf7a0098bd Merge pull request #717 from wisty/patch-1 
log client modify
 2025-09-09 17:14:37 +08:00
刘小龙
c87df59996 log client modify 2025-09-09 15:27:46 +08:00
persist-1
d3bebd039e refactor(database): 调整数据库模块位置、调整初始化arg名称，并更新文档 
- 将 db.py 数据库模块移入‘database/‘中，并修正所有调用代码
- 将初始化参数 `--init-db` 改为 `--init_db`
- 更新相关文档说明
 2025-09-08 01:14:31 +08:00
persist-1
99756612b4 chore: 移除先前被同步的sqlite数据库，让用户自行进行初始化 2025-09-08 00:40:55 +08:00
persist-1
95a3dc8ce1 chore: 删除不必要的注释 2025-09-08 00:37:57 +08:00
persist-1
40de0e47e5 fix(store): 将async for循环替换为async with语句来修复zhihu数据库会话管理 2025-09-08 00:29:04 +08:00
persist-1
a38058856f test: 添加数据库同步测试脚本用于ORM与数据库结构对比与同步 
fix(database): 修复大量不适当的字段类型
 2025-09-08 00:13:00 +08:00
persist-1
684a16ed9a fix(数据库): 修复模型字段类型以支持更广泛的数据格式； 
修复xhs评论存储方法，从批量处理改为单条处理
 2025-09-07 04:10:49 +08:00
persist-1
b04f5bcd6f feat(database): 优化数据库模型和连接管理 
- 添加cryptography依赖用于加密功能
- 重构数据库模型字段类型和约束
- 增加数据库自动创建功能
- 改进数据库连接管理和错误处理
- 更新相关依赖文件(pyproject.toml, requirements.txt)
 2025-09-06 06:08:28 +08:00
persist-1
0965bd6c96 fix: 使用 get_current_time() 替代 get_current_date() 以避免文件名因同日期而冲突 2025-09-06 04:43:56 +08:00
persist-1
e92c6130e1 fix(store): 修复存储实现的AsyncFileWriter导入 
重构小红书存储实现，将store_comments方法改为处理单个评论的store_comment
为多个平台添加AsyncFileWriter工具类导入
 2025-09-06 04:41:37 +08:00
persist-1
be306c6f54 refactor(database): 重构数据库存储实现，使用SQLAlchemy ORM替代原始SQL操作 
- 删除旧的async_db.py和async_sqlite_db.py实现
- 新增SQLAlchemy ORM模型和数据库会话管理
- 统一各平台存储实现到_store_impl.py文件
- 添加数据库初始化功能支持
- 更新.gitignore和pyproject.toml依赖配置
- 优化文件存储路径和命名规范
 2025-09-06 04:10:20 +08:00
程序员阿江(Relakkes)
fa5f07e9ee docs: update README.md 2025-09-05 17:51:36 +08:00
程序员阿江(Relakkes)
6b6fedd031 fix: #711 2025-09-02 18:57:18 +08:00
程序员阿江(Relakkes)
2bce3593f7 feat: support time deplay for all platform 2025-09-02 16:43:09 +08:00