zhouyonggao
/
MarketingSystemDataExportTool
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
80 Commits 1 Branch 0 Tags 7.2 MiB
Commit Graph

39 Commits

Author SHA1 Message Date
zhouyonggao d9942282ec refactor(utils): 删除冗余的包声明注释 
- 移除了重复的 package utils 注释行
- 保持代码文件头部简洁规范
- 优化代码可读性和一致性
 2025-12-17 10:46:56 +08:00
zhouyonggao 187e8e37a2 refactor(export): 统一导出模块中状态和字符串转换的工具使用 
- 移除内部重复的 toString 函数，替换为统一的 utils.ToString
- 导出作业状态字符串统一使用 constants 包中的状态常量
- 优化导出 SQL 构建中的 CASE WHEN 语句为常量函数调用
- 删除已废弃的代码块和冗余日志打印
- 更新 database 操作中导出作业状态更新逻辑
- 提升代码可维护性与一致性
 2025-12-17 10:34:45 +08:00
zhouyonggao e99dc91ee1 refactor(api): 优化模板API处理器结构与逻辑 
- 重构TemplatesAPI结构体字段命名，区分元数据库和营销数据库
- 统一并优化HTTP路由处理代码，添加详尽注释说明各接口用途
- 增强createTemplate方法，完善请求体解析与错误处理
- 优化listTemplates，实现字段去重计数逻辑，支持用户过滤
- 详细拆解getTemplate，patchTemplate，deleteTemplate和validateTemplate逻辑
- patchTemplate支持多字段动态更新，添加详细日志追踪
- deleteTemplate新增软删除支持，保护关联数据安全
- validateTemplate增强错误分类和索引建议汇总能力
- 新增辅助函数toJSON/fromJSON及countValidFields，提高代码复用性
- 通过selectDataDB区分源数据库连接，提高数据来源正确性

feat(exporter): 增加导出写入器接口与工厂方法

- 定义RowWriter接口，规范所有导出格式写入器实现
- 实现NewWriter工厂函数，根据文件格式动态创建写入器实例
- 统一导出写入器构建流程，便于后续扩展其他格式写入器

feat(logging): 完善统一结构化日志模块

- 新增日志级别常量，支持Debug/Info/Warn/Error多等级
- 提供Init方法初始化日志文件和控制台输出
- 实现JSON格式日志输出，统一日志字段结构
- 提供多种等级便捷方法，简化日志打印调用
- 增强Error日志，附加调用文件和行号定位
- 封装专用日志方法，支持数据库错误、导出进度与SQL日志等

refactor(repo): 重构导出数据访问层，增强功能清晰度

- 优化ExportQueryRepo结构和构造方法
- 规范Build、Explain、Count等核心方法命名与参数
- 增加分块快速估算行数方法
- 完善游标创建及流式数据导出方法签名与流程
- 封装写入器和回调函数类型，增强模块解耦和扩展性
- 统一日志调用，规范错误处理和日志记录格式
 2025-12-17 10:23:43 +08:00
zhouyonggao 1e1fcf9748 refactor(api): 优化模板API处理器结构与逻辑 
- 重构TemplatesAPI结构体字段命名，区分元数据库和营销数据库
- 统一并优化HTTP路由处理代码，添加详尽注释说明各接口用途
- 增强createTemplate方法，完善请求体解析与错误处理
- 优化listTemplates，实现字段去重计数逻辑，支持用户过滤
- 详细拆解getTemplate，patchTemplate，deleteTemplate和validateTemplate逻辑
- patchTemplate支持多字段动态更新，添加详细日志追踪
- deleteTemplate新增软删除支持，保护关联数据安全
- validateTemplate增强错误分类和索引建议汇总能力
- 新增辅助函数toJSON/fromJSON及countValidFields，提高
 2025-12-17 10:16:56 +08:00
zhouyonggao f541a7a30b feat(api): 增强易码通数据导出逻辑以优化字段去重 
在exports.go中新增逻辑，针对易码通数据处理时，保留order_voucher.grant_time字段并移除order_cash.receive_time字段，避免返回空值。此改动提升了字段去重的准确性，确保导出数据符合预期。
 2025-12-15 18:21:55 +08:00
zhouyonggao 594de29ba0 feat(api): 增强字段去重逻辑以支持易码通客户名称处理 
在exports.go和templates.go中新增逻辑，确保在处理易码通数据时，若同时选择order.merchant_name与merchant.name，仅保留merchant.name。此改动提升了字段去重的准确性，确保返回的数据符合预期。
 2025-12-15 17:44:32 +08:00
zhouyonggao b16746c048 feat(api): 增强模板列表查询以支持字段去重和JSON字段处理 
在templates.go中优化listTemplates函数，新增字段去重逻辑和JSON字段处理，确保返回的字段数量准确且符合预期。同时，调整SQL查询以包含fields_json字段，提升数据的准确性和可读性。
 2025-12-15 17:01:07 +08:00
zhouyonggao c4f674ec5b refactor(api): 优化CSV导出逻辑以减少重复代码 
在exports.go中重构CSV导出逻辑，通过引入newBaseWriter函数减少重复代码，提高代码可读性和维护性。同时，确保在导出过程中正确处理文件头信息，提升导出功能的稳定性和准确性。
 2025-12-15 16:18:25 +08:00
zhouyonggao 0e32026f46 fix(api): 移除无效字段以提升数据准确性 
在metadata.go和fields.go中移除与活动相关的无效字段，确保API返回的字段与实际数据一致，提升数据的准确性和可读性。
 2025-12-15 16:13:23 +08:00
zhouyonggao 3a354a3d93 feat(exporter): 增强SQL构建逻辑以支持供应商信息 
在sqlbuilder.go中更新SQL构建逻辑，确保在导出数据时正确关联供应商名称。同时，在fields.go中更新字段标签以反映供应商名称的变化，提升导出数据的准确性和可读性。
 2025-12-15 15:57:21 +08:00
zhouyonggao 84ab45da8c feat(api): 增强导出数据处理逻辑以支持支付状态和活动渠道字段 
在exports.go中添加支付状态检查逻辑，确保仅在订单已支付时展示活动渠道字段。同时，新增辅助函数以处理支付状态的解析，提升导出数据的准确性和可读性。
 2025-12-15 15:39:25 +08:00
zhouyonggao 61e8cc04e7 feat(api): 优化字段去重逻辑并添加标签去重处理 
在exports.go中增强字段去重逻辑，确保主表字段优先于副表字段，并处理相同列名的去重，提升导出数据的准确性和一致性。同时，添加字段匹配校验以确保最终字段数量与模板一致。
 2025-12-15 15:11:01 +08:00
zhouyonggao 3046274e24 feat(exporter): 添加短信渠道字段的SQL构建逻辑 
在sqlbuilder.go中新增短信渠道字段的SQL构建逻辑，支持将短信渠道值映射为对应的中文描述，提升导出数据的可读性和准确性。
 2025-12-15 15:00:53 +08:00
zhouyonggao 79cc64e5aa feat(exporter): 添加充值成功时间字段的SQL构建逻辑 
在sqlbuilder.go中新增逻辑，仅在订单状态为充值成功时展示充值成功时间，提升导出数据的准确性和可读性。
 2025-12-15 14:44:43 +08:00
zhouyonggao 364f5d1d72 fix(api): 移除无效字段并更新字段标签 
在metadata.go和fields.go中移除order.success_num字段，确保API返回的字段与实际数据一致，提升数据准确性。
 2025-12-15 14:29:13 +08:00
zhouyonggao a84e8a5a66 feat(export): 添加字段去重逻辑以优化导出功能 
在exports.go中实现字段去重，移除完全重复的字段，并确保主表字段优先于副表字段。更新toString函数以支持更多数据类型的格式化，确保导出数据的准确性和一致性。
 2025-12-15 12:03:59 +08:00
zhouyonggao d17ae70ea9 fix(导出): 修复导出列名冲突问题并更新字段映射文档 
调整 order_digit.order_type 的显示名从"订单类型"为"商品类型"以避免歧义
添加列名去重逻辑，当不同表存在相同列名时自动添加表名前缀
新增字段映射文档说明去重策略和兼容性影响
 2025-12-15 10:41:59 +08:00
zhouyonggao 582a5daeea feat(exporter): 添加订单重试状态的SQL构建逻辑 2025-12-12 18:32:03 +08:00
zhouyonggao 8e6b55f003 fix: 统一供应商类型字段标签和SQL映射逻辑 
修改order.is_inner和merchant.third_party字段的标签为"供应商类型"
添加SQL构建逻辑将is_inner和third_party字段值映射为"内部供应商"或"外部供应商"
 2025-12-12 18:28:00 +08:00
zhouyonggao a2c6f2a08d fix(api): 移除YMT无效字段并隐藏key批次字段 
在exports.go中过滤掉YMT数据源的无效字段order.key_batch_id和order.key_batch_name
在metadata.go中将order.key_batch_id字段标记为隐藏
 2025-12-12 18:17:21 +08:00
zhouyonggao 50ba8f7780 feat(导出): 实现字段映射规则并优化白名单校验 
refactor(api): 重构字段处理逻辑，保留原始顺序并简化校验流程
docs: 添加字段映射规则文档
test: 添加SQL构建字段顺序与数量测试
 2025-12-12 18:07:19 +08:00
zhouyonggao 249e62029a fix(api): 修复导出字段重复问题并优化本地开发配置 
修复导出字段重复过滤逻辑，添加去重校验和日志记录
将API基础URL切换为本地开发环境配置
 2025-12-12 15:52:22 +08:00
zhouyonggao ddec621951 fix(exporter): 修复易码通直充卡密订单导出客户名称重复问题 
移除订单中的merchant_name字段以避免与merchant.name重复
更新直充卡密模板示例使用merchant.name
优化SQL构建逻辑跳过立减金批次号过滤
 2025-12-12 15:30:38 +08:00
zhouyonggao e45db7fcb1 fix(导出): 修复立减金批次号在不同数据源和订单类型下的显示与过滤逻辑 
调整前端条件渲染和后端过滤逻辑，确保立减金批次号字段仅在营销数据源类型2或易码通数据源类型3时显示和生效
修复易码通直充卡密订单不应包含立减金相关字段的问题
 2025-12-12 15:24:57 +08:00
zhouyonggao 9b77801b04 feat(导出): 支持商户ID筛选并优化用户ID筛选逻辑 
- 在URL参数中添加merchantId支持，并处理多个商户ID的情况
- 在SQL构建器中实现creator_in和merchant_id_in的OR逻辑组合查询
- 优化reseller_id_eq和plan_id_eq的过滤条件处理
- 前端添加merchantId参数拼接功能
- 移除docker部署脚本中的固定镜像ID逻辑
 2025-12-09 18:29:14 +08:00
zhouyonggao 2ff8283711 fix(metadata): 隐藏order_cash.update_time字段的显示 2025-12-08 17:22:58 +08:00
zhouyonggao 815116e22b 1 2025-12-08 17:21:40 +08:00
zhouyonggao d9c0db5bad fix(metadata): 隐藏key_batch表中不必要显示的字段 
将key_batch表中的多个字段设置为隐藏，仅保留关键信息显示
 2025-12-08 17:03:07 +08:00
zhouyonggao 0eceed50be fix(web): 修改API基础地址为本地开发环境 
refactor(server): 调整营销元数据表字段显示配置
隐藏部分不常用字段，优化界面显示
 2025-12-08 17:01:35 +08:00
zhouyonggao 395cfdaab5 feat(metadata): 过滤隐藏字段以优化返回数据 
在metadata处理逻辑中添加隐藏字段过滤功能，确保API响应中只包含可见字段，提升数据安全性和客户端处理效率
 2025-12-08 16:45:47 +08:00
zhouyonggao 15043be7f4 fix(metadata): 隐藏订单中冗余字段的显示 
将商品ID、分销商ID、营销计划ID等冗余字段的Hidden属性设置为true，避免在前端显示不必要的信息
 2025-12-08 16:40:01 +08:00
zhouyonggao 2c4c7bc139 build: 添加 gmsm 作为直接依赖并移除间接依赖 
将 github.com/tjfoc/gmsm 从间接依赖移至直接依赖，以明确项目对该库的依赖关系
 2025-12-08 16:36:33 +08:00
zhouyonggao 1aec9c6660 feat(metadata): 添加表标签支持并调整字段可见性 
添加 metaTableLabels 用于存储表标签，优化字段显示逻辑
在 metadata.go 中设置所有字段 hidden 为 false 由前端控制
调整部分营销表字段的 hidden 值为 false 以显示重要字段
 2025-12-08 16:12:28 +08:00
zhouyonggao b19b05f873 refactor(api): 重构MetadataHandler以优化表字段处理逻辑 
在MetadataHandler中重构了表字段处理逻辑，使用静态方法生成Marketing和YMT库的表字段信息，简化了字段映射和隐藏字段管理。此更改提高了代码的可读性和可维护性，同时增强了API的灵活性。
 2025-12-08 15:42:50 +08:00
zhouyonggao 22e918688e refactor(api): 优化字段处理逻辑，默认隐藏所有字段 
在FieldsHandler中移除获取隐藏字段的逻辑，默认将所有字段设置为隐藏，交由前端控制显示/隐藏。此更改简化了字段映射逻辑，提高了代码可读性。
 2025-12-08 15:29:14 +08:00
zhouyonggao 1d4c8c49cb feat(api): 更新隐藏字段管理功能，优化字段映射逻辑 
在MetadataHandler中重构隐藏字段获取逻辑，使用schema.AllWhitelist构建字段映射，简化代码并提高可维护性。同时，新增API路由以支持字段处理功能，增强系统的灵活性和扩展性。
 2025-12-08 15:14:58 +08:00
zhouyonggao 7770d87259 feat(api): 添加隐藏字段管理功能 
在MetadataHandler中实现从代码获取隐藏字段列表的功能，并在字段处理逻辑中检查字段是否在隐藏列表中。更新前端字段选择组件，使用树形结构展示字段选择，支持多选和动态加载字段。增强用户体验，提供已选择字段数量的反馈。
 2025-12-08 14:45:33 +08:00
zhouyonggao 02cd5f75b9 fix(db): 处理MySQL连接的只读副本错误 
在连接MySQL时，增加对只读副本可能返回的错误（8001和polar slave）的处理逻辑，确保连接在出现此类错误时仍然可用。
 2025-12-08 11:31:28 +08:00
zhouyonggao 113a8ffa0a feat: 初始化营销系统数据工具项目 
- 添加基础项目结构，包括后端Go代码和前端静态文件
- 实现核心功能模块：数据导出、模板管理、元数据查询
- 添加多数据源支持（营销系统、易码通、元数据库）
- 实现CSV和Excel导出功能
- 添加配置管理系统，支持YAML和环境变量
- 实现日志记录和请求追踪
- 添加Docker部署支持
- 编写README文档说明项目结构和启动方式
 2025-12-02 15:48:17 +08:00