Commit Graph

15 Commits

Author SHA1 Message Date
persist-1
99756612b4 chore: 移除先前被同步的sqlite数据库,让用户自行进行初始化 2025-09-08 00:40:55 +08:00
persist-1
a38058856f test: 添加数据库同步测试脚本用于ORM与数据库结构对比与同步
fix(database): 修复大量不适当的字段类型
2025-09-08 00:13:00 +08:00
persist-1
be306c6f54 refactor(database): 重构数据库存储实现,使用SQLAlchemy ORM替代原始SQL操作
- 删除旧的async_db.py和async_sqlite_db.py实现
- 新增SQLAlchemy ORM模型和数据库会话管理
- 统一各平台存储实现到_store_impl.py文件
- 添加数据库初始化功能支持
- 更新.gitignore和pyproject.toml依赖配置
- 优化文件存储路径和命名规范
2025-09-06 04:10:20 +08:00
persist-1
19df1734f1 chore: 增加--help参数中文显示支持及douyin_aweme表music_download_url字段\n\n- 为命令行参数增加中文显示支持,提升用户体验\n- 在douyin_aweme表中新增music_download_url字段用于存储视频音乐下载链接\n- 更新相关数据库表结构文件(tables.sql, sqlite_tables.sql)\n- 实现音乐下载URL提取逻辑并集成到数据存储流程 2025-07-24 22:39:53 +08:00
Relakkes
d256337b6a docs: 在线文档support & 知识付费栏目汇聚 2024-09-19 16:54:19 +08:00
nelzomal
eace7d1750 improve base config reading command line arg logic 2024-06-09 18:51:36 +08:00
Relakkes
6c4116f240 feat: abstract cache class implementation 2024-06-02 11:16:18 +08:00
Tianci-King
1115b0d90c feat(core): 新增控制爬虫 参数起始页面的页数start_page;perf(argparse): 向命令行解析器添加程序参数起始页面页数和关键字 2024-04-12 00:52:47 +08:00
Relakkes
c530bd4219 feat: 代理IP缓存到redis中 2023-12-06 23:49:56 +08:00
Relakkes
9177c38521 feat: 支持数据保存到CSV中 2023-08-16 19:49:41 +08:00
Relakkes
2398a17e21 refactor: 优化抖音Crawler部分代码
fix: 日志初始化错误修复
2023-07-15 21:30:12 +08:00
Relakkes
dad8d56ab5 feat: issue #14
refactor: 优化小红书crawler流程代码
2023-07-15 17:11:53 +08:00
Relakkes
57437719bf feat: 抖音三种方式登录实现 & 抖音滑块模拟滑动实现 2023-07-01 23:10:47 +08:00
NanmiCoder
e82dcae02f feat: 小红书笔记搜索,评论获取done
docs: update docs

Create .gitattributes

Update README.md
2023-06-12 20:37:24 +08:00
NanmiCoder
bca6a27717 Initial commit 2023-06-09 20:14:34 +08:00