zhouyonggao
/
MarketingSystemDataExportTool
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
213 Commits 1 Branch 0 Tags 7.2 MiB
Commit Graph

213 Commits

Author SHA1 Message Date
zhouyonggao bc6316f279 fix(api): 隐藏订单过期处理时间字段 
- 将订单中过期处理时间字段的 Hidden 属性由 false 修改为 true
- 调整元数据表配置，防止过期时间字段在界面上显示
- 优化订单信息展示的字段可见性管理
 2025-12-18 13:54:49 +08:00
zhouyonggao d962481289 fix(api): 修复营销系统非直充类型字段过滤逻辑 
- 在导出字段时，非直充类型(type!=1)移除充值时间和卡密字段
- 添加日志记录被移除字段及原因
- 在元数据接口中过滤营销系统非直充类型下的充值时间和卡密字段
- 保证字段显示和导出的一致性
 2025-12-18 13:52:54 +08:00
zhouyonggao 3002590491 fix(schema): 修正 order_cash 表连接条件 
- 移除使用 MAX ID 子查询连接 order_cash 的方式
- 采用普通 JOIN 按 order_number 字段连接 order_cash 表
- 修复因表无 id 字段导致的连接错误问题
- 优化查询语句结构，提升可读性和维护性
 2025-12-18 13:41:00 +08:00
zhouyonggao 99ac6e3c2b refactor(marketing): 优化关联查询和过滤字段映射逻辑 
- 为多个关联表添加基于最大ID的子查询去重，保证数据唯一性
- 增加注释说明各关联JOIN逻辑和去重策略
- merchant_key_send关联改为基于最大ID的子查询连接，替代原有简单连接
- 统一格式化代码，提高可读性
- 保持FilterColumn方法结构清晰无改变，仅调整格式
 2025-12-18 13:11:25 +08:00
zhouyonggao fd11907f26 refactor(schema): 优化MySQL 8窗口函数去重查询 
- 修改多表连接语句，使用窗口函数ROW_NUMBER()实现去重
- 对order_cash/order_voucher/order_digit表添加窗口函数子查询，取首条记录
- 对goods_voucher_batch表添加窗口函数去重，实现精确匹配关联
- 保持原有逻辑基础上提升查询性能和准确性
 2025-12-18 12:55:02 +08:00
zhouyonggao f6911a0cc6 refactor(export): 移除导出SQL中的枚举转换并增强错误标记详细信息 
- 导出接口取消白名单过滤，字段导出与前端选择保持一致
- 构建SQL时移除所有CASE WHEN枚举字段转换，改由业务层处理
- 增加实际使用字段列表返回，解决字段列数不匹配问题
- ExportRepo.MarkFailed 增加失败原因和上下文参数，丰富失败日志
- 导出任务多个失败分支均调用MarkFailed并传递详细错误上下文
- 日志中增加导出失败详细信息，包含错误、数据源、字段、SQL及参数
- 删除无用的枚举映射代码，简化SQL构建逻辑
- 保障创建时间区间过滤的格式和参数合法性检查
- 增加导出SQL构建时被白名单过滤字段的日志输出，方便调试
 2025-12-18 12:35:46 +08:00
zhouyonggao d89f6fffad fix(exports): 增强导出任务错误日志记录 
- 在导出任务恢复时记录详细的错误信息，包括任务ID、错误内容、字段和格式
- 导出流处理失败时增加错误日志，包含任务阶段、数据源、SQL语句和参数
- 在直接生成xlsx失败时，记录错误详情和导出字段数量
- 统一使用日志系统记录导出失败事件，方便排查问题
- 确保所有异常情况下调用MarkFailed标记任务失败
 2025-12-18 11:51:18 +08:00
zhouyonggao 2f2cef905f refactor(api): 禁用访问日志记录功能 
- 移除日志记录相关的依赖和导入
- 注释掉访问日志记录的实现代码
- 保留响应头设置和OPTIONS请求的处理逻辑
- 保留状态码和字节数统计但不作日志输出
- 优化代码格式和缩进，提高可读性
 2025-12-18 11:40:37 +08:00
zhouyonggao b442209bfa refactor(api): 取消字段白名单过滤和去重逻辑 
- server/internal/api/exports.go中remove字段白名单过滤和完全重复字段去重步骤
- 直接使用所有字段，无需过滤并简化字段处理流程
- 修正countValidFields函数说明，改为计算不去重、不过滤的有效字段数
- 维护对易码通立减金特殊字段处理逻辑，避免“领取时间”为空问题
 2025-12-18 11:32:15 +08:00
zhouyonggao a2840d3ae8 fix(api): 隐藏外部请求相关字段以减少暴露信息 
- 将字段 stock_id 的 Hidden 属性改为 true
- 将 usage_time、discard_time、account_type、account、send_msg、status_update_time、update_time、create_time 等字段的 Hidden 属性统一设置为 true
- 减少接口返回的敏感和详细时间戳信息暴露
- 优化字段权限控制，提升数据安全性
 2025-12-18 10:12:43 +08:00
zhouyonggao b2533341dc fix(api): 修正发放key码字段的隐藏状态 
- 将marketingMetadataTables中merchant_key_send.key字段的Hidden属性由false改为true
- 调整字段展示权限以符合业务需求
- 优化数据展示的安全性和隐私保护
 2025-12-18 10:10:29 +08:00
zhouyonggao c09e60ba71 refactor(exports, metadata): 更新行数估算逻辑和字段可见性以优化功能 
- 修改create函数中的行数估算逻辑，确保在估算为0时使用精确COUNT进行统计
- 添加日志记录以跟踪估算过程，提升调试能力
- 更新metadata中的字段可见性，将绑定类型字段标记为隐藏，以符合新的业务需求
- 提升代码可读性，确保逻辑清晰明了
 2025-12-17 20:18:50 +08:00
zhouyonggao 553704c836 fix(exports): 优化导出接口的行数估算逻辑 
- 修改估算行数的回退逻辑，使用精确 COUNT 替代原先的快速估算
- 添加日志记录精确统计阶段的相关信息，便于跟踪统计过程
- 修正导出接口的估算准确性，提升导出性能和稳定性

fix(metadata): 隐藏 marketingMetadataTables 中键“绑定类型”字段

- 将绑定类型字段的 Hidden 属性由 false 改为 true
- 避免绑定类型字段在某些场景下被展示
- 保持批次相关字段显示的合理性和安全性
 2025-12-17 20:01:51 +08:00
zhouyonggao 83339f42a3 feat(exports): 增强行数估算功能以支持精确统计和日志记录 
- 在create函数中添加行数估算逻辑，优先使用分块统计，失败时回退到精确COUNT
- 添加日志记录以跟踪估算过程，确保在估算为0时能够进行精确统计
- 提升代码可读性，确保行数估算和日志记录逻辑清晰明了
 2025-12-17 19:58:28 +08:00
zhouyonggao 646c9e8bc4 feat(exporter): 增强行数统计功能以支持SQL日志记录 
- 在CountRowsFast函数中添加行数统计SQL的日志记录，方便排查估算问题
- 更新前端行数显示逻辑，优化评估状态的处理，确保用户界面友好性
- 提升代码可读性，确保日志记录和行数显示逻辑清晰明了
 2025-12-17 19:27:29 +08:00
zhouyonggao 5bb83e1875 refactor(exporter, schema): 优化SQL构建逻辑以支持最新数据行的关联 
- 更新BuildSQL和BuildJoins函数，移除ROW_NUMBER()函数，改为使用子查询确保每个订单只保留最新记录，避免1:N重复
- 增强JOIN逻辑，确保在YMT和其他数据源中正确关联最新的订单现金、代金券和批次信息
- 提升代码可读性，确保SQL构建逻辑清晰明了
 2025-12-17 19:14:52 +08:00
zhouyonggao 70680061e2 feat(date-picker): 添加默认时间设置以优化日期范围选择 
- 在日期选择器中引入默认时间设置，开始时间为00:00:00，结束时间为23:59:59，提升用户体验
- 增加normalizeMarketingEndTime函数，确保在导出时将结束时间的00:00:00标准化为23:59:59
- 更新相关逻辑以支持新的时间处理，确保日期范围选择的准确性和灵活性
 2025-12-17 18:31:36 +08:00
zhouyonggao 1ee2b4bd79 refactor(exporter, schema): 优化SQL构建逻辑以避免重复数据 
- 移除BuildSQL函数中的冗余去重逻辑，简化SQL构建过程
- 更新多个表的JOIN逻辑，使用ROW_NUMBER()函数确保每个订单只保留最新记录，避免1:N重复
- 提升代码可读性，确保SQL构建逻辑清晰明了
 2025-12-17 18:21:30 +08:00
zhouyonggao ce547a50da refactor(constants, exporter): 更新红包领取状态映射以支持YMT数据源 
- 修改OrderCashReceiveStatus映射，调整状态值以符合YMT数据源的要求
- 在BuildSQL函数中添加条件逻辑，根据数据源动态映射红包领取状态，确保SQL构建的准确性
- 提升代码可读性，确保状态映射逻辑清晰明了
 2025-12-17 18:08:50 +08:00
zhouyonggao 9bb21bf4d2 refactor(metadata): 移除订单字段的可见性以满足业务需求 
- 删除订单字段中的is_reset标记，以符合新的业务逻辑
- 确保字段的可见性与业务需求一致，提升代码可读性和维护性
 2025-12-17 17:55:55 +08:00
zhouyonggao 5b7b2429d4 refactor(metadata): 更新多个字段的可见性以满足业务需求 
- 将多个字段标记为隐藏，包括立减金领取时间、支付金额、客户联系人名称和电话等，以符合新的业务逻辑
- 确保字段的可见性与业务需求一致，提升代码可读性和维护性
 2025-12-17 17:52:21 +08:00
zhouyonggao 0fe7e4d963 refactor(metadata): 更新立减金领取时间字段的可见性以满足业务需求 
- 将立减金领取时间字段标记为隐藏，以符合新的业务逻辑
- 确保字段的可见性与业务需求一致，提升代码可读性
 2025-12-17 17:46:13 +08:00
zhouyonggao 7dee3ea9cf refactor(metadata): 更新订单元数据字段的可见性以满足业务需求 
- 将订单图片、是否重置、支付渠道、是否退还库存和下次重试时间字段标记为隐藏，以符合新的业务逻辑
- 更新相关字段的可见性，确保展示与业务需求一致
- 提升代码可读性，确保字段管理逻辑清晰明了
 2025-12-17 17:42:38 +08:00
zhouyonggao d1b30deb4a feat(export): 增强SQL构建逻辑以支持YMT数据源的ID过滤 
- 在BuildSQL函数中添加对reseller_id_eq和merchant_id_eq的处理逻辑，确保在YMT数据源下有效过滤无效ID
- 更新去重逻辑以支持YMT数据源的特定需求，提升SQL构建的灵活性
- 优化聚合查询时的字段别名处理，确保主表字段正确引用
- 增强代码可读性，确保逻辑清晰明了
 2025-12-17 17:39:35 +08:00
zhouyonggao ec5322f602 feat(export): 增强SQL构建逻辑以支持ID过滤和时间快捷选项 
- 添加isZeroID函数以处理ID过滤，确保在构建SQL时跳过无效ID
- 更新BuildSQL函数，优化merchant_id_eq和creator_in的处理逻辑
- 在前端引入时间快捷选项，提升用户体验，简化时间范围选择
- 更新日期选择器以支持快捷选项，增强导出功能的灵活性
 2025-12-17 17:14:55 +08:00
zhouyonggao 8e4d2b4790 refactor(exports): 移除冗余字段去重逻辑以简化代码 
- 删除与主表和副表字段去重相关的冗余逻辑，提升代码可读性
- 移除易码通客户名称字段的去重逻辑，简化字段管理
- 优化相同列名去重逻辑，确保主表字段优先保留
- 更新日志记录逻辑，确保字段去重事件的清晰记录
 2025-12-17 16:53:53 +08:00
zhouyonggao 143199dcd3 refactor(fields): 增强字段管理逻辑以支持唯一值和调试 
- 在FieldsManager类中为子表字段节点添加表名前缀，确保值的唯一性
- 添加调试日志以检查树节点的重复值，提升代码可维护性
- 更新路径转换逻辑，确保字段回显时的有效性检查
- 增强树节点查找逻辑，支持更灵活的路径匹配
 2025-12-17 16:41:29 +08:00
zhouyonggao 3d75cfec1d refactor(metadata): 更新元数据字段可见性以满足业务需求 
- 将支付渠道字段标记为隐藏，以符合新的业务逻辑
- 更新订单相关字段的可见性，确保展示与业务需求一致
- 提升代码可读性，确保字段管理逻辑清晰明了
 2025-12-17 16:26:48 +08:00
zhouyonggao bbe316e113 refactor(fields): 更新字段管理逻辑以支持订单类型特定子表展示 
- 在FieldsManager类中根据订单类型动态添加子表，确保展示与订单类型一致
- 移除不必要的条件判断，简化子表展示逻辑
- 更新注释以反映新的逻辑，提升代码可读性和维护性
- 在主应用中引入metadataVersion以触发元数据更新时的树形结构重新计算
 2025-12-17 16:17:58 +08:00
zhouyonggao f9d6ed151c refactor(web): 更新字段管理逻辑以始终展示所有相关子表 
- 修改FieldsManager类中的子表展示逻辑，确保所有与订单相关的子表始终可见
- 移除基于订单类型的条件判断，避免子表显示不一致的问题
- 更新注释以反映新的逻辑，提升代码可读性和维护性
- 删除不再使用的server/server和server_restart.log文件，清理项目结构
 2025-12-17 16:10:46 +08:00
zhouyonggao 1dd006b09c refactor(metadata): 隐藏短信渠道字段以满足业务脱敏需求 
- 将order_digit.sms_channel字段标记为隐藏，前端和导出不再展示
- 从白名单中移除order_digit.sms_channel字段，确保不再允许导出
- 更新相关标签注释，明确字段不再对外展示和导出
 2025-12-17 16:00:03 +08:00
zhouyonggao 5c143616d5 refactor(api): 优化CreatorsAPI的列表逻辑与数据处理 
- 增强list方法，添加重复用户ID过滤，确保返回数据唯一性
- 改进用户名称显示逻辑，支持格式化输出
- 统一SQL查询逻辑，提升代码可读性与维护性
- 处理查询结果时，确保错误处理和数据有效性检查更加严谨
 2025-12-17 15:51:30 +08:00
zhouyonggao 526ff0054c feat(template): 增加删除模板功能的二次确认提示 
- 在删除模板操作中添加二次确认机制，避免误删
- 使用 Element Plus 的确认对话框或浏览器的确认框进行用户确认
- 提升用户体验，确保删除操作的安全性
 2025-12-17 15:32:19 +08:00
zhouyonggao d9942282ec refactor(utils): 删除冗余的包声明注释 
- 移除了重复的 package utils 注释行
- 保持代码文件头部简洁规范
- 优化代码可读性和一致性
 2025-12-17 10:46:56 +08:00
zhouyonggao 187e8e37a2 refactor(export): 统一导出模块中状态和字符串转换的工具使用 
- 移除内部重复的 toString 函数，替换为统一的 utils.ToString
- 导出作业状态字符串统一使用 constants 包中的状态常量
- 优化导出 SQL 构建中的 CASE WHEN 语句为常量函数调用
- 删除已废弃的代码块和冗余日志打印
- 更新 database 操作中导出作业状态更新逻辑
- 提升代码可维护性与一致性
 2025-12-17 10:34:45 +08:00
zhouyonggao e99dc91ee1 refactor(api): 优化模板API处理器结构与逻辑 
- 重构TemplatesAPI结构体字段命名，区分元数据库和营销数据库
- 统一并优化HTTP路由处理代码，添加详尽注释说明各接口用途
- 增强createTemplate方法，完善请求体解析与错误处理
- 优化listTemplates，实现字段去重计数逻辑，支持用户过滤
- 详细拆解getTemplate，patchTemplate，deleteTemplate和validateTemplate逻辑
- patchTemplate支持多字段动态更新，添加详细日志追踪
- deleteTemplate新增软删除支持，保护关联数据安全
- validateTemplate增强错误分类和索引建议汇总能力
- 新增辅助函数toJSON/fromJSON及countValidFields，提高代码复用性
- 通过selectDataDB区分源数据库连接，提高数据来源正确性

feat(exporter): 增加导出写入器接口与工厂方法

- 定义RowWriter接口，规范所有导出格式写入器实现
- 实现NewWriter工厂函数，根据文件格式动态创建写入器实例
- 统一导出写入器构建流程，便于后续扩展其他格式写入器

feat(logging): 完善统一结构化日志模块

- 新增日志级别常量，支持Debug/Info/Warn/Error多等级
- 提供Init方法初始化日志文件和控制台输出
- 实现JSON格式日志输出，统一日志字段结构
- 提供多种等级便捷方法，简化日志打印调用
- 增强Error日志，附加调用文件和行号定位
- 封装专用日志方法，支持数据库错误、导出进度与SQL日志等

refactor(repo): 重构导出数据访问层，增强功能清晰度

- 优化ExportQueryRepo结构和构造方法
- 规范Build、Explain、Count等核心方法命名与参数
- 增加分块快速估算行数方法
- 完善游标创建及流式数据导出方法签名与流程
- 封装写入器和回调函数类型，增强模块解耦和扩展性
- 统一日志调用，规范错误处理和日志记录格式
 2025-12-17 10:23:43 +08:00
zhouyonggao 1e1fcf9748 refactor(api): 优化模板API处理器结构与逻辑 
- 重构TemplatesAPI结构体字段命名，区分元数据库和营销数据库
- 统一并优化HTTP路由处理代码，添加详尽注释说明各接口用途
- 增强createTemplate方法，完善请求体解析与错误处理
- 优化listTemplates，实现字段去重计数逻辑，支持用户过滤
- 详细拆解getTemplate，patchTemplate，deleteTemplate和validateTemplate逻辑
- patchTemplate支持多字段动态更新，添加详细日志追踪
- deleteTemplate新增软删除支持，保护关联数据安全
- validateTemplate增强错误分类和索引建议汇总能力
- 新增辅助函数toJSON/fromJSON及countValidFields，提高
 2025-12-17 10:16:56 +08:00
zhouyonggao 26989cc391 refactor(main): 重构主入口代码提升可读性和可维护性 
- 使用模块化架构替代内联常量和工具函数引用提升结构清晰度
- 统一调用外部 Api 服务封装，简化接口调用流程
- 优化字段元数据加载逻辑，支持缓存及异常处理恢复
- 重构树形选择器操作，提升选中状态处理的可靠性和性能
- 采用状态管理模块创建响应式状态，拆分表单验证规则实现
- 使用计算属性优化表单及导出相关的动态选项展示
- 重新实现异步数据加载函数，统一错误处理并清空异常状态
- 清理和合并废弃或重复代码，改善代码整洁度和可维护性
 2025-12-17 10:03:26 +08:00
zhouyonggao 37aef35f99 refactor(modules): 使用IIFE包装模块增强隔离和安全性 
- 在web主文件和所有模块文件中添加立即调用函数表达式(IIFE)
- 对模块作用域使用'use strict'提高代码规范性和错误检测
- 提升模块代码的封装性，防止全局变量污染
- 维护现有模块接口和导出方式不变
- 优化代码结构，提升可读性和维护性
 2025-12-17 10:02:07 +08:00
zhouyonggao 913f93fabd refactor(web): 重构脚本引入为模块化架构 
- 移除对vue及element-plus脚本的defer属性，确保按顺序加载
- 拆分原有配置与功能脚本为多个模块文件
- 引入config、utils、api、fields、state等模块化脚本
- 替换主入口脚本为重构后的 main.refactored.js
- 优化脚本加载顺序，提高代码可维护性与扩展性
 2025-12-17 09:40:10 +08:00
zhouyonggao 4f74eec055 fix(web): 优化任务列表加载与轮询逻辑 
- 抛出加载失败错误而非静默清空任务列表
- 在加载任务失败时增加控制台错误日志输出
- 添加检查任务完成并停止轮询的函数
- 任务轮询采用异步方式并在适当时停止
- 使用常量替换硬编码对话框宽度限制和默认值
- 组件卸载时停止任务轮询定时器
- 移除已废弃的兼容性字段和方法映射代码
 2025-12-17 09:29:02 +08:00
zhouyonggao 18e2e372a0 fix(web): 修复编辑模板名称输入组件的标签嵌套问题 
- 移除 el-input 标签的多余闭合标签
- 确保模板名称输入框结构符合规范
- 改善表单项的渲染正确性和稳定性
 2025-12-17 09:28:11 +08:00
zhouyonggao c0578b1d24 docs(spec): 编写营销系统数据导出工具需求文档 
- 详细描述项目背景、目标与技术栈
- 设计系统整体架构和数据库连接方式
- 定义导出模板管理模块属性、接口及业务规则
- 规划数据导出任务模块功能、流程及业务规则
- 列举支持的数据源、订单类型、可导出数据表
- 规范通用及特定数据源的过滤条件
- 说明字段处理、枚举转换及特殊字段处理方法
- 制定辅助查询接口及工具接口细节
- 描述前端功能包括模板管理与导出执行页面设计
- 明确任务状态展示与安全权限控制策略
- 提出性能优化方案涵盖SQL优化与导出优化
- 设定文件存储规范及部署配置要求
- 列出详细字段清单覆盖所有业务表字段
- 附录中提供接口响应格式、文件结构及日志格式示例
 2025-12-17 09:18:44 +08:00
zhouyonggao ec3f890d7e chore(docs): 移除过时的需求文档与测试报告 
- 删除字段映射与导出校验规则文档
- 移除MarketingSystemDataTool需求与测试点详细文档
- 清理易码通直充卡密订单导出客户名称去重测试报告
- 减少项目冗余文档，便于维护和更新
 2025-12-17 09:14:47 +08:00
zhouyonggao f541a7a30b feat(api): 增强易码通数据导出逻辑以优化字段去重 
在exports.go中新增逻辑，针对易码通数据处理时，保留order_voucher.grant_time字段并移除order_cash.receive_time字段，避免返回空值。此改动提升了字段去重的准确性，确保导出数据符合预期。
 2025-12-15 18:21:55 +08:00
zhouyonggao 594de29ba0 feat(api): 增强字段去重逻辑以支持易码通客户名称处理 
在exports.go和templates.go中新增逻辑，确保在处理易码通数据时，若同时选择order.merchant_name与merchant.name，仅保留merchant.name。此改动提升了字段去重的准确性，确保返回的数据符合预期。
 2025-12-15 17:44:32 +08:00
zhouyonggao b16746c048 feat(api): 增强模板列表查询以支持字段去重和JSON字段处理 
在templates.go中优化listTemplates函数，新增字段去重逻辑和JSON字段处理，确保返回的字段数量准确且符合预期。同时，调整SQL查询以包含fields_json字段，提升数据的准确性和可读性。
 2025-12-15 17:01:07 +08:00
zhouyonggao c4f674ec5b refactor(api): 优化CSV导出逻辑以减少重复代码 
在exports.go中重构CSV导出逻辑，通过引入newBaseWriter函数减少重复代码，提高代码可读性和维护性。同时，确保在导出过程中正确处理文件头信息，提升导出功能的稳定性和准确性。
 2025-12-15 16:18:25 +08:00
zhouyonggao 0e32026f46 fix(api): 移除无效字段以提升数据准确性 
在metadata.go和fields.go中移除与活动相关的无效字段，确保API返回的字段与实际数据一致，提升数据的准确性和可读性。
 2025-12-15 16:13:23 +08:00
zhouyonggao 3a354a3d93 feat(exporter): 增强SQL构建逻辑以支持供应商信息 
在sqlbuilder.go中更新SQL构建逻辑，确保在导出数据时正确关联供应商名称。同时，在fields.go中更新字段标签以反映供应商名称的变化，提升导出数据的准确性和可读性。
 2025-12-15 15:57:21 +08:00