wurenzhi
48a78137c5
- 将B2B统一为TOB术语 - 将状态值统一为大写格式 - 优化类型声明，避免使用any - 将float类型替换为decimal以提高精度 - 新增术语标准化文档 - 优化路由结构和菜单分类 - 添加TypeORM实体类 - 增强加密模块安全性 - 重构前端路由结构 - 完善任务模板和验收标准
2.4 KiB
2.4 KiB
平台采集插件任务
任务列表
| Task ID | 闭环关联 | 任务描述 | 输入 | 输出 | 触发条件 | 状态 | 优先级 | 依赖 | 预计耗时 | 负责人 | 完成时间 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| PL-C001 | 数据采集与清洗闭环 | 无API平台商品采集引擎 | 店铺ID, 平台类型, 采集配置, 指纹配置, 代理IP | 原始商品数据(JSON) | 定时任务/后端指令 | ✅ completed | P0 | - | 3h | AI-Plugin-1 | 2026-03-20 |
| PL-C002 | 数据采集与清洗闭环 | DOM解析与数据提取 | HTML内容, CSS选择器配置 | 结构化商品数据 | 采集完成 | ✅ completed | P1 | PL-C001 | 2h | AI-Plugin-13 | 2026-03-20 |
| PL-C003 | 订单集中管理闭环 | 无API平台订单采集 | 店铺ID, 平台账号, 时间范围, 登录状态 | 订单数据(JSON) | 定时任务/后端指令 | ✅ completed | P0 | PL-C001 | 3h | AI-Plugin-1 | 2026-03-20 |
相关闭环
- 数据采集与清洗闭环
- 订单集中管理闭环
依赖关系
PL-C001 ─┬─► PL-C002
└─► PL-C003
技术约束
- 必须通过店铺隔离环境执行（独立指纹+代理IP）
- 采集频率受平台反爬限制，需实现自适应频率控制
- 数据通过HTTP POST上报后端，携带traceId和shopId
验收标准
- 无API平台商品采集引擎能成功采集商品数据
- DOM解析与数据提取能正确提取结构化数据
- 无API平台订单采集能成功采集订单数据
- 所有插件运行稳定，无异常崩溃
- 数据采集准确率达到95%以上
测试要求
- 单元测试：覆盖核心采集和解析逻辑
- 集成测试：验证与后端服务的交互
- 端到端测试：模拟完整的采集流程
- 边界测试：测试异常情况和边界数据
性能要求
- 采集速度：能在1小时内采集1000个商品
- 稳定性：连续运行24小时无异常
- 资源占用：CPU使用率不超过50%，内存使用不超过1GB
安全要求
- 数据加密：采集数据传输加密
- 访问控制：基于店铺ID的访问控制
- 审计日志：所有采集操作需记录详细日志
- 合规性：遵守目标平台的使用条款