MarketingSystemDataExportTool/server/internal/exporter
zhouyonggao e8c264a384 refactor(exports): 使用并行导出替代串行分块导出
- 移除旧的串行分块导出代码,改为基于分片的并行导出机制
- 引入并行导出配置,支持设置分片数量、最大并发数和每文件最大行数
- 预估总行数作为并行导出总行数,用于更合理的任务拆分
- 新增并行导出过程中的进度更新和文件创建回调处理
- 并行导出失败时记录错误日志并标记导出任务失败
- 保留原有Transform行数据转换功能,保证数据一致性
- 优化日志输出,详细记录并行导出过程中的错误信息
2025-12-19 18:43:43 +08:00
..
evaluate.go feat: 初始化营销系统数据工具项目 2025-12-02 15:48:17 +08:00
explain.go feat: 初始化营销系统数据工具项目 2025-12-02 15:48:17 +08:00
job_runner.go refactor(api): 优化模板API处理器结构与逻辑 2025-12-17 10:16:56 +08:00
parallel.go refactor(exports): 使用并行导出替代串行分块导出 2025-12-19 18:43:43 +08:00
sqlbuilder.go fix(exports): 优化导出逻辑以支持多数据源和参数类型记录 2025-12-19 02:12:44 +08:00
sqlbuilder_test.go feat(导出): 实现字段映射规则并优化白名单校验 2025-12-12 18:07:19 +08:00
stream.go perf(exporter): 优化分片数据统计实现并发查询 2025-12-19 18:21:28 +08:00
util.go feat(export): 实现导出进度缓存及zip压缩优化 2025-12-19 18:04:13 +08:00
writer.go refactor(api): 优化模板API处理器结构与逻辑 2025-12-17 10:16:56 +08:00