26 Commits

Author SHA1 Message Date
程序员阿江(Relakkes)
ff8c92daad chore: add copyright to every file 2025-11-18 12:24:02 +08:00
yt210
ef6948b305 新增存储到mongoDB 2025-11-06 10:40:30 +08:00
persist-1
be306c6f54 refactor(database): 重构数据库存储实现,使用SQLAlchemy ORM替代原始SQL操作
- 删除旧的async_db.py和async_sqlite_db.py实现
- 新增SQLAlchemy ORM模型和数据库会话管理
- 统一各平台存储实现到_store_impl.py文件
- 添加数据库初始化功能支持
- 更新.gitignore和pyproject.toml依赖配置
- 优化文件存储路径和命名规范
2025-09-06 04:10:20 +08:00
未来可欺
ecddfbe02c 将store文件夹中后缀名为_video或_image的.py文件统一更名为以_media.py为结尾的命名方式,避免某些平台仅有_video.py文件或_image.py文件的单独实现。之后的所有存储视频或图像的代码均放在此文件中实现 2025-07-30 18:32:08 +08:00
未来可欺
173bc08a9d 添加了抖音存储视频以及图片的逻辑,并将config.py中ENABLE_GET_IMAGES参数更名为ENABLE_GET_MEIDAS,在此基础上略微修改存储逻辑 2025-07-30 18:24:08 +08:00
买定不离手
1298022410 refactor: 更新各平台store模块初始化以支持SQLite
- 更新 store/bilibili/__init__.py 文件,导入SQLite存储实现类和相关模块
- 更新 store/douyin/__init__.py 文件,集成抖音平台的SQLite数据存储接口
- 更新 store/kuaishou/__init__.py 文件,添加快手平台SQLite存储模块的导入声明
- 更新 store/tieba/__init__.py 文件,引入贴吧平台SQLite数据库操作模块
- 更新 store/weibo/__init__.py 文件,整合微博平台SQLite存储功能模块
- 更新 store/xhs/__init__.py 文件,导入小红书平台SQLite数据存储实现
- 更新 store/zhihu/__init__.py 文件,集成知乎平台SQLite数据库存储模块
2025-07-14 03:51:08 +08:00
HuiLong
d929ad16ae fix xhs get gender 2024-12-28 20:24:37 +08:00
Relakkes
79bf9fc05d chore: add xhs field comment for issue #526 2024-12-26 18:28:23 +08:00
liudongkai
33e7ef016d feat: xhs 非代理模式下增加随机等待间隔, db存储模式下增加存储xsec_token字段 2024-12-05 21:10:31 +08:00
Relakkes
9fe3e47b0f chore: 增加代码学习声明,严格禁止非法、禁止商业、不当用途 2024-10-20 00:43:25 +08:00
Relakkes
65699aa1cb feat: xhs支持获取评论的点赞数量 2024-08-24 06:07:33 +08:00
Relakkes
c70bd9e071 feat: 增加搜索词来源渠道 2024-08-23 08:29:24 +08:00
Relakkes
7229d29123 feat: xhs update 2024-08-04 14:54:03 +08:00
Relakkes
f8096e3d58 feat: 抖音abogus参数更新 2024-07-14 03:20:05 +08:00
helloteemo
6545a15ff3 feature: 支持小红书图片、视频下载 2024-07-11 22:56:30 +08:00
helloteemo
e71690a985 fix: 解决小红书图片水印问题 2024-07-11 17:39:48 +08:00
you@company-pc
409c0ab36d 修复无法采集小红书 creator IP 归属地的问题 2024-06-26 11:56:41 +08:00
leantli
ad01dfba95 feat: 轻量化支持爬取小红书二级评论 2024-04-12 17:32:20 +08:00
leantli
81a9946afd feat: 支持爬取小红书二级评论 2024-04-11 17:16:13 +08:00
Relakkes
d392747fe7 fix: 移除orm的所有内容 2024-04-06 23:51:03 +08:00
Relakkes
0c8484c334 feat: db数据存储重构完成 2024-04-06 22:11:10 +08:00
Relakkes
96309dcfee fix: 小红书创作者功能数据获取优化 2024-03-17 14:50:10 +08:00
Relakkes
41fee4ff4f feat:小红书支持获取评论中的图片链接 #145 2024-03-07 22:30:44 +08:00
jayeeliu@gmail.com
61ba8c5cc7 feat: 小红书支持通过博主ID采集笔记和评论,小红书type=search时支持配置按哪种排序方式获取笔记数据,小红书笔记增加视频地址和标签字段 2024-03-02 01:49:42 +08:00
Relakkes
e0f9a487e4 refactor: 代码优化 2024-01-16 00:40:07 +08:00
Relakkes
894dabcf63 refactor: 数据存储重构,分离不同类型的存储实现 2024-01-14 22:06:31 +08:00