feat: 新增多模块功能与服务实现

新增广告计划、用户资产、B2B交易、合规规则等核心模型
实现爬虫工作器、贸易服务、现金流预测等业务服务
添加RBAC权限测试、压力测试等测试用例
完善扩展程序的消息处理与内容脚本功能
重构应用入口与文档生成器
更新项目规则与业务闭环分析文档
This commit is contained in:
2026-03-18 09:38:09 +08:00
parent 72cd7f6f45
commit 037e412aad
158 changed files with 50217 additions and 1313 deletions

View File

@@ -39,12 +39,12 @@
33. [功能开通与支付闭环](#3⃣3⃣-功能开通与支付闭环feature-activation--payment-loop)
34. [多商户结算与财务闭环](#3⃣4⃣-多商户结算与财务闭环multi-merchant-settlement--finance-loop)
35. [多商户商品与订单管理闭环](#3⃣5⃣-多商户商品与订单管理闭环multi-merchant-product--order-management-loop)
31. [统一闭环依赖](#🔹-统一闭环依赖toc--tob)
32. [闭环依赖关系](#🔗-闭环依赖关系toc--tob)
33. [关键绩效指标](#📊-关键绩效指标kpi)
34. [追踪与审计](#🔍-追踪与审计)
35. [业务审核状态机](#📋-业务审核状态机)
36. [说明](#💡-说明)
36. [统一闭环依赖](#🔹-统一闭环依赖toc--tob)
37. [闭环依赖关系](#🔗-闭环依赖关系toc--tob)
38. [关键绩效指标](#📊-关键绩效指标kpi)
39. [追踪与审计](#🔍-追踪与审计)
40. [业务审核状态机](#📋-业务审核状态机)
41. [说明](#💡-说明)
***
@@ -53,12 +53,12 @@
- **目标**收集多平台商品信息确保数据完整、有效、可用于盈利分析TOC或报价计算TOB
- **采集策略矩阵**
| 平台类型 | 采集方式 | 执行位置 | 登录要求 | 反爬策略 |
|----------|----------|----------|----------|----------|
| **有API平台** (Amazon MWS, eBay API) | 官方API | 后端 | OAuth/密钥 | 频率限制 |
| **无API平台** (TikTok Shop, Temu) | 浏览器插件 | 插件 | 需登录 | 指纹隔离+IP代理 |
| **公开数据** (1688公开页) | 浏览器插件 | 插件 | 无需登录 | 频率控制 |
| **需登录数据** (供应商后台) | 浏览器插件 | 插件 | 需登录 | 店铺隔离 |
| 平台类型 | 采集方式 | 执行位置 | 登录要求 | 反爬策略 |
| --------------------------------- | ----- | ---- | -------- | --------- |
| **有API平台** (Amazon MWS, eBay API) | 官方API | 后端 | OAuth/密钥 | 频率限制 |
| **无API平台** (TikTok Shop, Temu) | 浏览器插件 | 插件 | 需登录 | 指纹隔离+IP代理 |
| **公开数据** (1688公开页) | 浏览器插件 | 插件 | 无需登录 | 频率控制 |
| **需登录数据** (供应商后台) | 浏览器插件 | 插件 | 需登录 | 店铺隔离 |
- **流程**
1. **多平台采集**
@@ -89,15 +89,14 @@
- **后端严禁直接爬取电商平台页面**IP封禁、法律风险
- 所有网页级采集必须通过浏览器插件在用户端执行
- 插件必须实现店铺隔离一店一IP一指纹
- **📋 技术实现指引**
| 层级 | 实现模块 | 关键文件 | 任务ID |
|------|----------|----------|--------|
| 后端 | 平台API对接 | `PlatformApiService.ts` | BE-P005, BE-P006, BE-P007 |
| 后端 | 数据清洗引擎 | `DataPipelineService.ts` | DT-P001, DT-P002 |
| 插件 | 网页采集器 | `crawlerService.ts` | PL-C001, PL-C002 |
| 插件 | DOM解析 | `amazonCrawler.ts`, `tiktokCrawler.ts` | PL-C002 |
| AI | 套利分析 | `ArbitrageService.ts` | AI-A001 |
| 层级 | 实现模块 | 关键文件 | 任务ID |
| -- | ------- | -------------------------------------- | ------------------------- |
| 后端 | 平台API对接 | `PlatformApiService.ts` | BE-P005, BE-P006, BE-P007 |
| 后端 | 数据清洗引擎 | `DataPipelineService.ts` | DT-P001, DT-P002 |
| 插件 | 网页采集器 | `crawlerService.ts` | PL-C001, PL-C002 |
| 插件 | DOM解析 | `amazonCrawler.ts`, `tiktokCrawler.ts` | PL-C002 |
| AI | 套利分析 | `ArbitrageService.ts` | AI-A001 |
***
@@ -353,18 +352,16 @@
1. 高度隔离,降低账号封禁与关联风险
2. 自动化落地,提高效率与可扩展性
3. 支持多云部署,增强业务弹性和成本优化能力
- **📋 技术实现指引**
| 层级 | 实现模块 | 关键文件 | 任务ID |
|------|----------|----------|--------|
| 后端 | 店铺隔离管理 | `ShopIsolationService.ts` | BE-G003 |
| 后端 | 云镜像管理 | `CloudInstanceService.ts` | BE-G003 |
| 后端 | 任务调度器 | `TaskScheduler.ts` | BE-G003 |
| 插件 | 浏览器指纹管理 | `fingerprintService.ts` | PL-A001 |
| 插件 | 代理IP管理 | `proxyService.ts` | PL-A001 |
| 插件 | 自动化执行器 | `automationService.ts` | PL-A001, PL-A002 |
| 运维 | 健康监控 | `HealthMonitor.ts` | OP-M001 |
| 层级 | 实现模块 | 关键文件 | 任务ID |
| -- | ------- | ------------------------- | ---------------- |
| 后端 | 店铺隔离管理 | `ShopIsolationService.ts` | BE-G003 |
| 后端 | 云镜像管理 | `CloudInstanceService.ts` | BE-G003 |
| 后端 | 任务调度器 | `TaskScheduler.ts` | BE-G003 |
| 插件 | 浏览器指纹管理 | `fingerprintService.ts` | PL-A001 |
| 插件 | 代理IP管理 | `proxyService.ts` | PL-A001 |
| 插件 | 自动化执行器 | `automationService.ts` | PL-A001, PL-A002 |
| 运维 | 健康监控 | `HealthMonitor.ts` | OP-M001 |
- **🔗 插件管理架构**
```
┌─────────────────────────────────────────────────────────────┐
@@ -388,14 +385,13 @@
│ │
└─────────────────────────────────────────────────────────────┘
```
- **📡 插件通讯协议**
| 通讯方向 | 协议 | 用途 | 消息类型 |
|----------|------|------|----------|
| 后端 → 插件 | WebSocket | 实时任务下发 | `TASK_ASSIGN`, `CONFIG_UPDATE` |
| 插件 → 后端 | HTTP POST | 执行结果上报 | `TASK_COMPLETE`, `TASK_FAILED` |
| 插件 ↔ 后端 | HTTP GET | 状态查询/心跳 | `HEARTBEAT`, `STATUS_QUERY` |
| 插件内部 | Chrome Message | 组件间通讯 | `CRAWL_DATA`, `AUTO_ACTION` |
| 通讯方向 | 协议 | 用途 | 消息类型 |
| ------- | -------------- | ------- | ------------------------------ |
| 后端 → 插件 | WebSocket | 实时任务下发 | `TASK_ASSIGN`, `CONFIG_UPDATE` |
| 插件 → 后端 | HTTP POST | 执行结果上报 | `TASK_COMPLETE`, `TASK_FAILED` |
| 插件 ↔ 后端 | HTTP GET | 状态查询/心跳 | `HEARTBEAT`, `STATUS_QUERY` |
| 插件内部 | Chrome Message | 组件间通讯 | `CRAWL_DATA`, `AUTO_ACTION` |
***
@@ -995,53 +991,53 @@
#### 多商户入驻与认证闭环
| KPI 指标 | 描述 | 适用业务类型 |
| -------- | ------------ | --------- |
| 入驻转化率 | 注册到入驻成功的比例 | TOC + TOB |
| 资质审核时效 | 资质审核的平均时间 | TOC + TOB |
| 认证通过率 | 通过认证的商户比例 | TOC + TOB |
| 店铺绑定成功率 | 成功绑定平台店铺的比例 | TOC + TOB |
| 商户活跃度 | 商户月活跃比例 | TOC + TOB |
| KPI 指标 | 描述 | 适用业务类型 |
| ------- | ----------- | --------- |
| 入驻转化率 | 注册到入驻成功的比例 | TOC + TOB |
| 资质审核时效 | 资质审核的平均时间 | TOC + TOB |
| 认证通过率 | 通过认证的商户比例 | TOC + TOB |
| 店铺绑定成功率 | 成功绑定平台店铺的比例 | TOC + TOB |
| 商户活跃度 | 商户月活跃比例 | TOC + TOB |
#### 功能模块化与权限控制闭环
| KPI 指标 | 描述 | 适用业务类型 |
| -------- | ------------ | --------- |
| 模块使用率 | 各功能模块的使用比例 | TOC + TOB |
| 权限配置准确率 | 权限配置的准确性 | TOC + TOB |
| 数据隔离有效性 | 数据隔离的成功率 | TOC + TOB |
| 功能开关响应时效 | 功能开关生效的时间 | TOC + TOB |
| 配额利用率 | 商户使用配额的比例 | TOC + TOB |
| KPI 指标 | 描述 | 适用业务类型 |
| -------- | ---------- | --------- |
| 模块使用率 | 各功能模块的使用比例 | TOC + TOB |
| 权限配置准确率 | 权限配置的准确性 | TOC + TOB |
| 数据隔离有效性 | 数据隔离的成功率 | TOC + TOB |
| 功能开关响应时效 | 功能开关生效的时间 | TOC + TOB |
| 配额利用率 | 商户使用配额的比例 | TOC + TOB |
#### 功能开通与支付闭环
| KPI 指标 | 描述 | 适用业务类型 |
| ------- | ------------ | --------- |
| 支付成功率 | 支付成功的比例 | TOC + TOB |
| 开通时效 | 从支付到开通的时间 | TOC + TOB |
| 续费率 | 功能到期后续费的比例 | TOC + TOB |
| 退款率 | 申请退款的比例 | TOC + TOB |
| 发票开具及时率 | 发票按时开具的比例 | TOC + TOB |
| KPI 指标 | 描述 | 适用业务类型 |
| ------- | ---------- | --------- |
| 支付成功率 | 支付成功的比例 | TOC + TOB |
| 开通时效 | 从支付到开通的时间 | TOC + TOB |
| 续费率 | 功能到期后续费的比例 | TOC + TOB |
| 退款率 | 申请退款的比例 | TOC + TOB |
| 发票开具及时率 | 发票按时开具的比例 | TOC + TOB |
#### 多商户结算与财务闭环
| KPI 指标 | 描述 | 适用业务类型 |
| ------- | ------------ | --------- |
| 结算准确率 | 结算金额的准确性 | TOC + TOB |
| 结算时效 | 从交易到结算的时间 | TOC + TOB |
| 分润准确率 | 分润计算的准确性 | TOC + TOB |
| 提现成功率 | 提现申请成功的比例 | TOC + TOB |
| 对账差异率 | 财务对账的差异比例 | TOC + TOB |
| KPI 指标 | 描述 | 适用业务类型 |
| ------ | --------- | --------- |
| 结算准确率 | 结算金额的准确性 | TOC + TOB |
| 结算时效 | 从交易到结算的时间 | TOC + TOB |
| 分润准确率 | 分润计算的准确性 | TOC + TOB |
| 提现成功率 | 提现申请成功的比例 | TOC + TOB |
| 对账差异率 | 财务对账的差异比例 | TOC + TOB |
#### 多商户商品与订单管理闭环
| KPI 指标 | 描述 | 适用业务类型 |
| -------- | ------------ | --------- |
| 商品审核通过率 | 通过审核的商品比例 | TOC + TOB |
| 订单分配准确率 | 订单分配的准确性 | TOC + TOB |
| 库存同步准确率 | 多商户库存同步的准确性 | TOC + TOB |
| 超卖率 | 库存超卖的比例 | TOC + TOB |
| 物流轨迹覆盖率 | 可追踪物流的订单比例 | TOC + TOB |
| KPI 指标 | 描述 | 适用业务类型 |
| ------- | ----------- | --------- |
| 商品审核通过率 | 通过审核的商品比例 | TOC + TOB |
| 订单分配准确率 | 订单分配的准确性 | TOC + TOB |
| 库存同步准确率 | 多商户库存同步的准确性 | TOC + TOB |
| 超卖率 | 库存超卖的比例 | TOC + TOB |
| 物流轨迹覆盖率 | 可追踪物流的订单比例 | TOC + TOB |
***
@@ -1228,34 +1224,34 @@
#### 表命名规范
| 规则 | 要求 | 示例 |
|------|------|------|
| **表前缀** | 所有表必须以 `cf_` 开头 | `cf_product`, `cf_order`, `cf_shop` |
| **模块标识** | 按模块添加子前缀 | `cf_ai_` (AI模块), `cf_logistics_` (物流) |
| **命名风格** | 小写 + 下划线分隔 | `cf_consumer_orders`, `cf_ad_campaigns` |
| 规则 | 要求 | 示例 |
| -------- | --------------- | --------------------------------------- |
| **表前缀** | 所有表必须以 `cf_` 开头 | `cf_product`, `cf_order`, `cf_shop` |
| **模块标识** | 按模块添加子前缀 | `cf_ai_` (AI模块), `cf_logistics_` (物流) |
| **命名风格** | 小写 + 下划线分隔 | `cf_consumer_orders`, `cf_ad_campaigns` |
#### 核心表清单
| 表名 | 模块 | 说明 | 五元组追踪 |
|------|------|------|------------|
| `cf_tenant` | 租户 | 租户信息 | ✅ tenantId |
| `cf_shop` | 店铺 | 店铺信息 | ✅ tenantId, shopId |
| `cf_product` | 商品 | 商品主数据 | ✅ tenantId, shopId, traceId |
| `cf_product_sku` | 商品 | SKU变体 | ✅ tenantId, shopId, traceId |
| `cf_consumer_orders` | 订单 | C端订单 | ✅ tenantId, shopId, traceId |
| `cf_supplier` | 供应链 | 供应商信息 | ✅ tenantId, traceId |
| `cf_inventory` | 库存 | 库存记录 | ✅ tenantId, shopId, traceId |
| `cf_user` | 用户 | 系统用户 | ✅ tenantId |
| `cf_audit_log` | 审计 | 操作日志 | ✅ 五元组完整 |
| 表名 | 模块 | 说明 | 五元组追踪 |
| -------------------- | --- | ----- | --------------------------- |
| `cf_tenant` | 租户 | 租户信息 | ✅ tenantId |
| `cf_shop` | 店铺 | 店铺信息 | ✅ tenantId, shopId |
| `cf_product` | 商品 | 商品主数据 | ✅ tenantId, shopId, traceId |
| `cf_product_sku` | 商品 | SKU变体 | ✅ tenantId, shopId, traceId |
| `cf_consumer_orders` | 订单 | C端订单 | ✅ tenantId, shopId, traceId |
| `cf_supplier` | 供应链 | 供应商信息 | ✅ tenantId, traceId |
| `cf_inventory` | 库存 | 库存记录 | ✅ tenantId, shopId, traceId |
| `cf_user` | 用户 | 系统用户 | ✅ tenantId |
| `cf_audit_log` | 审计 | 操作日志 | ✅ 五元组完整 |
#### 字段规范
| 字段类型 | 规范 | 禁止 |
|----------|------|------|
| **金额** | `decimal(10,2)` | ❌ float/double |
| **物理属性** | 长度(cm), 重量(kg), 体积(m³) | - |
| **JSON数据** | 序列化存储,解析后使用 | - |
| **时间戳** | `created_at`, `updated_at` 必填 | - |
| 字段类型 | 规范 | 禁止 |
| ---------- | ----------------------------- | -------------- |
| **金额** | `decimal(10,2)` | ❌ float/double |
| **物理属性** | 长度(cm), 重量(kg), 体积(m³) | - |
| **JSON数据** | 序列化存储,解析后使用 | - |
| **时间戳** | `created_at`, `updated_at` 必填 | - |
#### 追踪五元组字段(所有业务表必须)
@@ -1271,12 +1267,12 @@
#### 数据完整性约束
| 约束 | 要求 |
|------|------|
| 约束 | 要求 |
| -------- | ------------------------------------------- |
| **唯一约束** | `cf_product` 表必须保证 (platform, productId) 唯一 |
| **外键约束** | 关键关联必须建立外键 |
| **幂等性** | 所有建表语句必须使用 `db.schema.hasTable` 前置校验 |
| **安全约束** | **⚠️ 严禁** 执行 `DROP`, `TRUNCATE` 等破坏性操作 |
| **外键约束** | 关键关联必须建立外键 |
| **幂等性** | 所有建表语句必须使用 `db.schema.hasTable` 前置校验 |
| **安全约束** | **⚠️ 严禁** 执行 `DROP`, `TRUNCATE` 等破坏性操作 |
***

View File

@@ -0,0 +1,206 @@
# Business_ClosedLoops.md 分析报告
## 缺失的业务闭环
经过分析,`Business_ClosedLoops.md` 文件中存在以下缺失内容:
### 1. 多商户相关闭环缺失
文件目录中列出了35个业务闭环但实际上只有前30个闭环有详细描述编号31-35的多商户相关闭环在文件中没有详细内容
- 31. 多商户入驻与认证闭环
- 32. 功能模块化与权限控制闭环
- 33. 功能开通与支付闭环
- 34. 多商户结算与财务闭环
- 35. 多商户商品与订单管理闭环
### 2. 编号错误
文件中存在编号错误:
- 目录中编号24-30的闭环在文件中被错误地编号为19-25
- 这是编号错误,内容本身是完整的
## 潜在的业务拓展机会
基于现有业务闭环,可以考虑以下拓展方向:
### 1. 多商户生态系统深化
- 完善多商户入驻、认证、管理、结算的完整流程
- 构建商户等级体系和激励机制
- 提供商户运营工具和数据分析服务
### 2. 跨境电商服务
- 国际支付解决方案
- 清关服务和合规咨询
- 跨境物流优化和追踪
### 3. AI驱动的智能决策
- 智能定价与动态调价
- 智能库存预测与补货
- 智能广告投放与优化
- 智能客户服务与售后
### 4. 社交电商整合
- 社交媒体平台集成
- 社交分享与推荐系统
- 内容营销工具
### 5. 全渠道零售
- 线上线下库存一体化
- 全渠道订单管理
- 会员体系整合
### 6. 可持续发展与绿色物流
- 碳足迹计算与优化
- 环保包装选择
- 可持续供应链管理
### 7. 高级数据分析与商业智能
- 预测分析与市场趋势
- 竞争对手分析
- 行业 benchmarking
### 8. 区块链应用
- 供应链透明度
- 物流追踪与溯源
- 智能合约与自动化结算
### 9. 移动应用与小程序
- 商户端移动应用
- 客户购物小程序
- 物流追踪移动工具
### 10. API开放平台
- 第三方开发者生态
- 插件市场
- 集成服务
## 同行与上下游分析
### 核心竞争对手分析
#### 1. 跨境电商平台
- **亚马逊、eBay、Shopee**:提供完整的电商生态,拥有强大的平台流量和物流网络
- **Temu、SHEIN**:以低价策略和快速供应链著称,擅长数据分析和用户运营
- **独立站平台**如Shopify提供灵活的建站工具和营销功能
#### 2. 供应链管理系统
- **SAP、Oracle**企业级ERP系统功能全面但实施成本高
- **Shopify Plus、BigCommerce**:针对电商的管理系统,集成度高
- **开源ERP系统**如Odoo灵活性高但需要技术支持
#### 3. 物流与供应链服务
- **DHL、FedEx、UPS**:国际物流巨头,提供全球配送服务
- **菜鸟、京东物流**:国内物流龙头,提供一体化物流解决方案
- **4PL服务商**:提供供应链整体解决方案,如德迅、辛克
### 上下游生态分析
#### 上游供应商
- **制造商/工厂**:提供产品生产
- **品牌商**:提供品牌授权和产品设计
- **原材料供应商**:提供生产所需材料
- **供应商管理平台**如阿里巴巴、Global Sources
#### 中游服务商
- **物流服务商**:国际快递、货代、仓储服务
- **支付服务商**PayPal、Stripe、银行跨境支付
- **清关服务商**:提供海关申报和清关服务
- **营销服务商**:广告投放、社交媒体运营
#### 下游渠道
- **线上平台**亚马逊、eBay、Shopee等
- **线下渠道**:实体店、批发市场
- **B2B客户**:企业采购商、分销商
- **终端消费者**:个人买家
### 差异化优势机会
1. **全链路整合**:打通采购、销售、物流、财务全流程,提供一体化解决方案
2. **多平台协同**:支持多平台数据同步和管理,避免数据孤岛
3. **AI驱动决策**利用AI技术优化定价、库存和营销策略
4. **灵活的多商户模式**:支持不同规模商户的定制化需求
5. **跨境合规保障**:提供合规咨询和证书管理服务
### 缺失功能分析
#### 同行拥有但我们可能缺失的功能
1. **亚马逊、eBay等平台**
- 全球物流网络和仓储体系
- 强大的用户评价和信用体系
- 成熟的广告投放系统和数据分析工具
- 多语言和多币种支持
2. **Temu、SHEIN**
- 快速供应链响应机制7-15天交货
- 强大的数据分析和用户画像系统
- 社交电商和内容营销能力
- 个性化推荐算法
3. **Shopify**
- 丰富的插件生态系统
- 灵活的主题和模板系统
- 内置的支付处理解决方案
- 多渠道销售集成社交媒体、市场places等
4. **SAP、Oracle**
- 企业级财务管理和会计功能
- 人力资源管理模块
- 高级预测和规划工具
- 复杂的供应链优化算法
5. **物流服务商**
- 实时包裹追踪和物流可视化
- 多渠道物流整合
- 智能路由和路径优化
- 海关预清关服务
#### 上下游伙伴拥有但我们可能缺失的功能
1. **上游供应商**
- 供应商绩效评估和评级系统
- 采购合同管理和自动续约
- 供应商协同平台和信息共享
- 预测性采购和需求计划
2. **中游服务商**
- 多币种支付处理和汇率管理
- 税务计算和申报服务
- 物流保险和风险保障
- 营销自动化和CRM集成
3. **下游渠道**
- 全渠道库存管理和订单路由
- 会员忠诚度计划和奖励系统
- 实时促销和折扣管理
- 客户服务和支持系统
#### 功能补充建议
1. **技术层面**
- 开发开放API平台集成第三方服务
- 构建微服务架构,提高系统扩展性
- 投资AI和机器学习能力优化决策流程
- 加强数据安全和隐私保护
2. **业务层面**
- 建立全球物流合作伙伴网络
- 开发多语言和多币种支持
- 构建用户评价和信用体系
- 提供端到端的跨境合规解决方案
3. **生态层面**
- 培育第三方开发者生态
- 建立商户社区和知识共享平台
- 发展战略合作伙伴关系
- 构建行业标准和最佳实践
## 结论
`Business_ClosedLoops.md` 文件已经包含了大部分业务闭环的详细描述但仍有5个多商户相关闭环缺失详细内容。通过上述业务拓展机会和同行上下游分析可以进一步丰富和完善系统的功能和价值增强市场竞争力。
建议重点关注:
1. 完善多商户生态系统,构建商户服务体系
2. 加强跨境电商服务能力,解决清关、物流等痛点
3. 利用AI技术提升运营效率和决策准确性
4. 构建开放的API生态吸引第三方开发者
5. 建立可持续发展的绿色供应链,符合全球环保趋势

File diff suppressed because it is too large Load Diff