 zhouyonggao
|
db8abb437b
|
fix(export): 优化导出完成时的缓存清理逻辑
- 导出完成时将缓存进度更新为实际完成行数，避免超过100%
- 延迟清理缓存，确保完成行数保持到任务完成
- 修改清理缓存时机，提升内存释放的准确性
|
2025-12-19 18:07:35 +08:00 |
|
zhouyonggao
|
328a8ced3a
|
feat(export): 实现导出进度缓存及zip压缩优化
- 新增导出任务实时进度缓存模块，提供设置、获取和清除进度缓存接口
- 导出进度更新时只更新缓存，不再频繁写入数据库，减轻数据库压力
- 导出完成时清除进度缓存，释放内存资源
- API返回的导出进度字段改为实时缓存数据，提升前端实时性
- 导出列表也使用实时缓存的进度数据替换原数据库字段
- 优化ZipFiles函数，使用DEFLATE算法压缩分片文件，提高压缩效率
- 维护代码注释，明确缓存和压缩实现逻辑
|
2025-12-19 18:04:13 +08:00 |
|
zhouyonggao
|
6cec327340
|
feat(export): 优化导出数据处理能力
- 将单个文件最大行数从30万提升至50万
- 新增海量数据集批次大小（500万+行）支持
- 将超大数据集批次大小由10万调整至20万
- 根据估算行数新增海量数据集批次选择逻辑
- 增加进度同步间隔至每10万行，减少同步频率
- 保持同步最长时间限制不变，优化性能表现
|
2025-12-19 17:55:55 +08:00 |
|
zhouyonggao
|
d96271edf9
|
refactor(export): 优化导出任务进度更新，减少数据库写入
- 引入内存进度跟踪器ProgressTracker管理进度状态
- 将多处调用rrepo.UpdateProgress替换为ProgressTracker.Update
- 增加周期性和时间间隔同步限制，降低数据库写入频率
- 实现导出完成时的最终同步以保证进度准确更新
- 统一管理各类型导出任务的进度更新逻辑
- 保持导出流程原有功能不变，提高性能和稳定性
|
2025-12-19 17:49:41 +08:00 |
|
zhouyonggao
|
48979b41d1
|
feat(exports): 支持服务启动时恢复未完成的导出任务
- 在服务启动时自动查询并恢复所有运行状态的导出任务
- 为导出任务增加重启次数计数及进度重置功能，确保任务重试正确性
- 将原有导出任务执行流程抽象出根据任务ID恢复任务的方法
- 修复导出任务相关数据库访问，统一使用结构体内db连接字段
- 优化导出任务文件处理与状态更新流程，提升任务恢复的稳定性
- 新增导出任务运行状态查询接口以支持任务恢复功能
- 改进错误日志记录，便于排查任务恢复中的异常情况
|
2025-12-19 17:44:29 +08:00 |
|
zhouyonggao
|
f6911a0cc6
|
refactor(export): 移除导出SQL中的枚举转换并增强错误标记详细信息
- 导出接口取消白名单过滤，字段导出与前端选择保持一致
- 构建SQL时移除所有CASE WHEN枚举字段转换，改由业务层处理
- 增加实际使用字段列表返回，解决字段列数不匹配问题
- ExportRepo.MarkFailed 增加失败原因和上下文参数，丰富失败日志
- 导出任务多个失败分支均调用MarkFailed并传递详细错误上下文
- 日志中增加导出失败详细信息，包含错误、数据源、字段、SQL及参数
- 删除无用的枚举映射代码，简化SQL构建逻辑
- 保障创建时间区间过滤的格式和参数合法性检查
- 增加导出SQL构建时被白名单过滤字段的日志输出，方便调试
|
2025-12-18 12:35:46 +08:00 |
|
zhouyonggao
|
187e8e37a2
|
refactor(export): 统一导出模块中状态和字符串转换的工具使用
- 移除内部重复的 toString 函数，替换为统一的 utils.ToString
- 导出作业状态字符串统一使用 constants 包中的状态常量
- 优化导出 SQL 构建中的 CASE WHEN 语句为常量函数调用
- 删除已废弃的代码块和冗余日志打印
- 更新 database 操作中导出作业状态更新逻辑
- 提升代码可维护性与一致性
|
2025-12-17 10:34:45 +08:00 |
|
zhouyonggao
|
1e1fcf9748
|
refactor(api): 优化模板API处理器结构与逻辑
- 重构TemplatesAPI结构体字段命名，区分元数据库和营销数据库
- 统一并优化HTTP路由处理代码，添加详尽注释说明各接口用途
- 增强createTemplate方法，完善请求体解析与错误处理
- 优化listTemplates，实现字段去重计数逻辑，支持用户过滤
- 详细拆解getTemplate，patchTemplate，deleteTemplate和validateTemplate逻辑
- patchTemplate支持多字段动态更新，添加详细日志追踪
- deleteTemplate新增软删除支持，保护关联数据安全
- validateTemplate增强错误分类和索引建议汇总能力
- 新增辅助函数toJSON/fromJSON及countValidFields，提高
|
2025-12-17 10:16:56 +08:00 |
|
zhouyonggao
|
113a8ffa0a
|
feat: 初始化营销系统数据工具项目
- 添加基础项目结构，包括后端Go代码和前端静态文件
- 实现核心功能模块：数据导出、模板管理、元数据查询
- 添加多数据源支持（营销系统、易码通、元数据库）
- 实现CSV和Excel导出功能
- 添加配置管理系统，支持YAML和环境变量
- 实现日志记录和请求追踪
- 添加Docker部署支持
- 编写README文档说明项目结构和启动方式
|
2025-12-02 15:48:17 +08:00 |