zhouyonggao
/
MarketingSystemDataExportTool
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
164 Commits 1 Branch 0 Tags 7.2 MiB
Commit Graph

79 Commits

Author SHA1 Message Date
zhouyonggao b09865fcbd fix(api): 修正导出接口中用户ID参数获取逻辑 
- 优先从请求参数中获取 current_user_id
- 若 current_user_id 为空则退回获取 userId
- 保证查询用户导出任务时使用正确的用户ID参数
- 提升接口的兼容性和灵活性
 2025-12-18 21:09:12 +08:00
zhouyonggao 0de192c9b4 feat(export): 根据预估行数限制xlsx格式导出 
- 新增xlsx格式最大行数阈值配置，超过该阈值则导出格式强制为csv
- 查询export_jobs表中作业的预估行数用于判断格式切换
- 记录格式切换时的日志，包含作业ID、预估行数及阈值信息
- 避免xlsx格式导出过大文件，提高导出效率和稳定性
- 在export常量中添加XlsxMaxRows配置项，默认值为100000行
 2025-12-18 20:58:23 +08:00
zhouyonggao 5020b6bc61 fix(api): 统一用户ID参数及禁止删除公共模板 
- 将模板相关接口中用户ID参数"userId"改为"current_user_id"
- 修改前端模板列表删除按钮的显示逻辑
- API新增检查删除模板时是否为公共模板，owner_id为0时禁止删除
- 删除模板前检查模板存在性，返回404错误
- 修改调用构建查询字符串时使用"current_user_id"参数
- 更新请求URL构建逻辑，确保传递正确的用户ID参数
 2025-12-18 18:27:25 +08:00
zhouyonggao 41e00e3fd6 fix(api): 隐藏组合商品基础信息字段 
- 修改 code_batch.group_info 字段的 Hidden 属性为 true
- 保持其他字段显示状态不变
- 确保组合商品基础信息在前端不再默认展示
 2025-12-18 17:38:38 +08:00
zhouyonggao d5eec5c0a6 fix(api): 将部分卡券字段设置为隐藏 
- 修改voucher.card_type字段的隐藏属性为true
- 修改voucher.early_notifier字段的隐藏属性为true
- 保持其他字段的隐藏状态不变，增强数据展示的隐私性和整洁度
 2025-12-18 17:35:50 +08:00
zhouyonggao 2d1698ae60 fix(api): 隐藏优惠券Id字段 
- 将订单元数据中的优惠券Id字段设置为隐藏
- 保持其他字段的显示状态不变
- 确保前端不显示该优惠券Id信息以保护数据隐私
 2025-12-18 17:08:49 +08:00
zhouyonggao 1e36d40bb1 fix(api): 修改立减金状态标签为立减金核销状态 
- 更新metadata.go中立减金状态标签为“立减金核销状态”
- 更新fields.go中立减金状态标签为“立减金核销状态”
 2025-12-18 17:07:10 +08:00
zhouyonggao 089dd52722 fix(api): 隐藏元数据表中活动名称字段 
- 将活动名称字段的隐藏属性由false改为true
- 调整前端接口中元数据的显示配置
- 保持其他字段的隐藏状态不变
 2025-12-18 17:02:26 +08:00
zhouyonggao dcd4992bc8 feat(api): 添加立减金主体类型映射及展示支持 
- 在导出接口中将goods_voucher_subject_config.type字段的数值映射为对应标签显示
- 新增VoucherSubjectType映射，支持支付宝、微信、云闪付三种主体类型
- 修改字段标签描述，将“主体类型”更新为“立减金主体类型”以更准确表达含义
 2025-12-18 16:57:17 +08:00
zhouyonggao 544a883dac fix(api): 优化立减金领取模式映射逻辑 
- 新增易码通立减金领取模式映射 YMTVoucherReceiveMode
- 根据数据源区分使用对应的领取模式映射
- 修正 order_voucher.receive_mode 和 voucher.receive_mode 字段的转换逻辑
- 保持营销系统和易码通的领取模式显示一致性
 2025-12-18 16:52:07 +08:00
zhouyonggao 40962d9b30 fix(metadata): 修正活动状态字段显示问题 
- 将活动状态字段在元数据中设置为隐藏
- 更新活动状态字段标签为“活动状态”以保持一致性
- 统一字段标签以提升界面显示的准确性和用户理解度
 2025-12-18 16:12:52 +08:00
zhouyonggao 8029f73a7d fix(metadata): 隐藏供应商类型字段 
- 将供应商类型字段的Hidden属性由false改为true
- 调整商户相关元数据表的展示配置
- 保持其他字段的可见性不变
 2025-12-18 16:11:11 +08:00
zhouyonggao 11fdfa7dd9 fix(api): 调整营销及订单凭证元数据字段显示状态 
- 移除外部请求时间字段的隐藏标记以修正展示问题
- 将订单凭证的外部业务号字段设置为隐藏，提升数据隐私保护
- 优化元数据表中相关字段的可见性配置以符合业务需求
 2025-12-18 15:54:13 +08:00
zhouyonggao 8fb3eeee42 feat(api): 添加key码API发放状态字段转换功能 
- 在导出接口中新增merchant_key_send.status字段的转换逻辑
- 根据状态码映射常量将状态值转换为中文标签
- 增加MerchantKeySendStatus枚举定义，包含已发放、已核销、已作废和充值中状态
- 优化导出数据时的特殊字段处理流程
 2025-12-18 15:46:53 +08:00
zhouyonggao 1c169cf2d7 fix(api): 调整营销元数据表字段隐藏状态及标签描述 
- 将 "外部请求时间" 字段的隐藏属性设置为隐藏，确保其不在默认视图中显示
- 修改 "商户业务号" 标签为 "外部API调用业务号"，使其描述更准确
- 修改 "状态" 标签为 "API调用状态"，提升标签表达的明确性
 2025-12-18 15:45:58 +08:00
zhouyonggao ccb90005fe feat(api): 添加红包状态映射转换功能 
- 在导出API中添加对order_cash.status字段的状态转换处理
- 实现红包状态数值到字符串标签的映射（正常、已过期）
- 在constants中新增MarketingOrderCashStatus枚举映射
- 保证红包状态值在有效范围时进行转换显示
 2025-12-18 15:41:02 +08:00
zhouyonggao 8702767e47 feat(api): 增加 key_batch.style 字段转换功能 
- 在 transformRow 函数中添加对 key_batch.style 的处理逻辑
- 根据整数值映射对应的标签名称进行替换
- 避免负值和不存在映射的情况影响输出
- 优化特殊字段转换处理流程
 2025-12-18 15:32:40 +08:00
zhouyonggao 7b7dcc66d6 refactor(api): 优化立减金打开方式映射逻辑 
- 将 voucher.is_webview 的打开方式映射从 switch 改为统一的map查询
- 在 constants 中新增 VoucherOpenMode 映射表，提升代码可维护性
- 移除冗余的分支判断，代码更简洁清晰
- 保持功能一致，确保映射结果不变
 2025-12-18 15:28:20 +08:00
zhouyonggao aa3df428b1 feat(api): 支持voucher.is_webview字段多语言转换 
- 新增voucher.is_webview字段的转换，将0、1、2映射为微信小程序、公众号、通用
- 优化导出接口中voucher打开方式的显示逻辑
- 在枚举常量中添加MarketingSettlementType的未设置状态0映射说明
 2025-12-18 15:27:44 +08:00
zhouyonggao 326eec184f feat(api): 增加营销系统枚举类型映射及导出数据转换支持 
- 新增MarketingSettlementType、MarketingPeriodType、MarketingSendMethod、MarketingRechargeType枚举映射
- 在导出接口中根据数据源区分结算方式，支持YMT和营销系统不同枚举转换
- 增加plan.send_method、code_batch.period_type和code_batch.recharge_type字段的枚举值转换
- 优化导出数据中相关字段的可读性，便于理解和使用枚举标签展示
 2025-12-18 15:23:15 +08:00
zhouyonggao 2ed9a0ce55 refactor(api): 添加 parseIntVal 函数解析字符串为整数 
- 实现 parseIntVal 函数，尝试将字符串转换成整数
- 失败或空字符串时返回 -1 作为默认值
- 遍历字符判断并累积转换为整数
- 简化字符串到整数的转换逻辑，提高代码复用性
 2025-12-18 15:14:54 +08:00
zhouyonggao da0c764646 feat(api): 添加导出数据枚举字段中文标签转换功能 
- 在导出数据转换函数中新增多字段枚举值解析和映射为中文标签
- 支持订单类型、状态、支付方式、支付状态等多个枚举字段转换
- 增加立减金、红包相关渠道及状态枚举转换
- 新增结算类型、供应商类型、领取方式等特殊枚举转换
- 更新字段标签映射，保持导出字段中文描述一致性
- 统一处理不同数据源(ds)的枚举映射，区分ymt与marketing标签
 2025-12-18 15:14:35 +08:00
zhouyonggao 9902096658 fix(api): 调整KEY批次和兑换码批次显示状态 
- 将KEY批次ID字段的Hidden属性设为false，取消隐藏
- 修改KEY批次ID的Label为“KEY批次ID”
- 将Code批次ID字段的Hidden属性设为false，取消隐藏
- 修改Code批次ID的Label为“兑换码批次ID”
 2025-12-18 14:52:04 +08:00
zhouyonggao cf9ae5d3f0 feat(server): 使用Marketing Authorization DB替换部分创作者查询逻辑 
- 在server启动时新增Marketing Authorization数据库连接及连接池配置
- 新增router参数以支持Marketing Authorization数据库传递
- CreatorsAPI使用Marketing Authorization数据库替代原marketing数据库查询
- 优化CreatorsAPI查询逻辑，直接查询admin_user表，简化多库回退查询
- 更新配置文件支持Marketing Authorization数据库的DSN配置项
- 相关路由处理器参数调整，确保创作者相关接口走授权库查询逻辑
 2025-12-18 14:45:08 +08:00
zhouyonggao f936e31cd6 fix(metadata): 修复红包领取时间字段显示状态 
- 将红包领取时间字段的隐藏状态由显示改为隐藏
- 统一红包相关时间字段的显示设置
- 避免红包领取时间信息在界面上被错误展示
 2025-12-18 14:21:46 +08:00
zhouyonggao 7ee6ef546f fix(api): 修正支付流水号标签为外部交易号 
- 将字段 order.out_trade_no 的标签从“支付流水号”修改为“外部交易号”以提高准确性
- 确保前端显示的标签与实际业务含义一致
- 优化订单相关元数据的表述规范
 2025-12-18 14:17:31 +08:00
zhouyonggao b8f2d70c3e fix(api): 修复营销系统非直充类型字段过滤逻辑 
- 在导出字段中过滤非直充类型时增加移除account字段
- 调整日志信息，说明非直充类型不导出充值时间、卡密和账号
- 元数据处理中营销系统非直充类型字段显示控制新增account字段
- 保证直充类型(type=1)才显示recharge_time、card_code和account字段
 2025-12-18 14:09:24 +08:00
zhouyonggao 0855c047fc fix(api): 修改红包领取者唯一标识的标签描述 
- 将红包领取者唯一标识的标签从“红包领取者唯一标识 微信open_id/支付宝alipay_user_id”改为“领取账号”
- 保持字段键和隐藏属性不变
- 优化表格元数据的用户理解度
 2025-12-18 14:07:37 +08:00
zhouyonggao bc6316f279 fix(api): 隐藏订单过期处理时间字段 
- 将订单中过期处理时间字段的 Hidden 属性由 false 修改为 true
- 调整元数据表配置，防止过期时间字段在界面上显示
- 优化订单信息展示的字段可见性管理
 2025-12-18 13:54:49 +08:00
zhouyonggao d962481289 fix(api): 修复营销系统非直充类型字段过滤逻辑 
- 在导出字段时，非直充类型(type!=1)移除充值时间和卡密字段
- 添加日志记录被移除字段及原因
- 在元数据接口中过滤营销系统非直充类型下的充值时间和卡密字段
- 保证字段显示和导出的一致性
 2025-12-18 13:52:54 +08:00
zhouyonggao f6911a0cc6 refactor(export): 移除导出SQL中的枚举转换并增强错误标记详细信息 
- 导出接口取消白名单过滤，字段导出与前端选择保持一致
- 构建SQL时移除所有CASE WHEN枚举字段转换，改由业务层处理
- 增加实际使用字段列表返回，解决字段列数不匹配问题
- ExportRepo.MarkFailed 增加失败原因和上下文参数，丰富失败日志
- 导出任务多个失败分支均调用MarkFailed并传递详细错误上下文
- 日志中增加导出失败详细信息，包含错误、数据源、字段、SQL及参数
- 删除无用的枚举映射代码，简化SQL构建逻辑
- 保障创建时间区间过滤的格式和参数合法性检查
- 增加导出SQL构建时被白名单过滤字段的日志输出，方便调试
 2025-12-18 12:35:46 +08:00
zhouyonggao d89f6fffad fix(exports): 增强导出任务错误日志记录 
- 在导出任务恢复时记录详细的错误信息，包括任务ID、错误内容、字段和格式
- 导出流处理失败时增加错误日志，包含任务阶段、数据源、SQL语句和参数
- 在直接生成xlsx失败时，记录错误详情和导出字段数量
- 统一使用日志系统记录导出失败事件，方便排查问题
- 确保所有异常情况下调用MarkFailed标记任务失败
 2025-12-18 11:51:18 +08:00
zhouyonggao 2f2cef905f refactor(api): 禁用访问日志记录功能 
- 移除日志记录相关的依赖和导入
- 注释掉访问日志记录的实现代码
- 保留响应头设置和OPTIONS请求的处理逻辑
- 保留状态码和字节数统计但不作日志输出
- 优化代码格式和缩进，提高可读性
 2025-12-18 11:40:37 +08:00
zhouyonggao b442209bfa refactor(api): 取消字段白名单过滤和去重逻辑 
- server/internal/api/exports.go中remove字段白名单过滤和完全重复字段去重步骤
- 直接使用所有字段，无需过滤并简化字段处理流程
- 修正countValidFields函数说明，改为计算不去重、不过滤的有效字段数
- 维护对易码通立减金特殊字段处理逻辑，避免“领取时间”为空问题
 2025-12-18 11:32:15 +08:00
zhouyonggao a2840d3ae8 fix(api): 隐藏外部请求相关字段以减少暴露信息 
- 将字段 stock_id 的 Hidden 属性改为 true
- 将 usage_time、discard_time、account_type、account、send_msg、status_update_time、update_time、create_time 等字段的 Hidden 属性统一设置为 true
- 减少接口返回的敏感和详细时间戳信息暴露
- 优化字段权限控制，提升数据安全性
 2025-12-18 10:12:43 +08:00
zhouyonggao b2533341dc fix(api): 修正发放key码字段的隐藏状态 
- 将marketingMetadataTables中merchant_key_send.key字段的Hidden属性由false改为true
- 调整字段展示权限以符合业务需求
- 优化数据展示的安全性和隐私保护
 2025-12-18 10:10:29 +08:00
zhouyonggao c09e60ba71 refactor(exports, metadata): 更新行数估算逻辑和字段可见性以优化功能 
- 修改create函数中的行数估算逻辑，确保在估算为0时使用精确COUNT进行统计
- 添加日志记录以跟踪估算过程，提升调试能力
- 更新metadata中的字段可见性，将绑定类型字段标记为隐藏，以符合新的业务需求
- 提升代码可读性，确保逻辑清晰明了
 2025-12-17 20:18:50 +08:00
zhouyonggao 553704c836 fix(exports): 优化导出接口的行数估算逻辑 
- 修改估算行数的回退逻辑，使用精确 COUNT 替代原先的快速估算
- 添加日志记录精确统计阶段的相关信息，便于跟踪统计过程
- 修正导出接口的估算准确性，提升导出性能和稳定性

fix(metadata): 隐藏 marketingMetadataTables 中键“绑定类型”字段

- 将绑定类型字段的 Hidden 属性由 false 改为 true
- 避免绑定类型字段在某些场景下被展示
- 保持批次相关字段显示的合理性和安全性
 2025-12-17 20:01:51 +08:00
zhouyonggao 83339f42a3 feat(exports): 增强行数估算功能以支持精确统计和日志记录 
- 在create函数中添加行数估算逻辑，优先使用分块统计，失败时回退到精确COUNT
- 添加日志记录以跟踪估算过程，确保在估算为0时能够进行精确统计
- 提升代码可读性，确保行数估算和日志记录逻辑清晰明了
 2025-12-17 19:58:28 +08:00
zhouyonggao 5b7b2429d4 refactor(metadata): 更新多个字段的可见性以满足业务需求 
- 将多个字段标记为隐藏，包括立减金领取时间、支付金额、客户联系人名称和电话等，以符合新的业务逻辑
- 确保字段的可见性与业务需求一致，提升代码可读性和维护性
 2025-12-17 17:52:21 +08:00
zhouyonggao 0fe7e4d963 refactor(metadata): 更新立减金领取时间字段的可见性以满足业务需求 
- 将立减金领取时间字段标记为隐藏，以符合新的业务逻辑
- 确保字段的可见性与业务需求一致，提升代码可读性
 2025-12-17 17:46:13 +08:00
zhouyonggao 7dee3ea9cf refactor(metadata): 更新订单元数据字段的可见性以满足业务需求 
- 将订单图片、是否重置、支付渠道、是否退还库存和下次重试时间字段标记为隐藏，以符合新的业务逻辑
- 更新相关字段的可见性，确保展示与业务需求一致
- 提升代码可读性，确保字段管理逻辑清晰明了
 2025-12-17 17:42:38 +08:00
zhouyonggao 8e4d2b4790 refactor(exports): 移除冗余字段去重逻辑以简化代码 
- 删除与主表和副表字段去重相关的冗余逻辑，提升代码可读性
- 移除易码通客户名称字段的去重逻辑，简化字段管理
- 优化相同列名去重逻辑，确保主表字段优先保留
- 更新日志记录逻辑，确保字段去重事件的清晰记录
 2025-12-17 16:53:53 +08:00
zhouyonggao 3d75cfec1d refactor(metadata): 更新元数据字段可见性以满足业务需求 
- 将支付渠道字段标记为隐藏，以符合新的业务逻辑
- 更新订单相关字段的可见性，确保展示与业务需求一致
- 提升代码可读性，确保字段管理逻辑清晰明了
 2025-12-17 16:26:48 +08:00
zhouyonggao 1dd006b09c refactor(metadata): 隐藏短信渠道字段以满足业务脱敏需求 
- 将order_digit.sms_channel字段标记为隐藏，前端和导出不再展示
- 从白名单中移除order_digit.sms_channel字段，确保不再允许导出
- 更新相关标签注释，明确字段不再对外展示和导出
 2025-12-17 16:00:03 +08:00
zhouyonggao 5c143616d5 refactor(api): 优化CreatorsAPI的列表逻辑与数据处理 
- 增强list方法，添加重复用户ID过滤，确保返回数据唯一性
- 改进用户名称显示逻辑，支持格式化输出
- 统一SQL查询逻辑，提升代码可读性与维护性
- 处理查询结果时，确保错误处理和数据有效性检查更加严谨
 2025-12-17 15:51:30 +08:00
zhouyonggao 187e8e37a2 refactor(export): 统一导出模块中状态和字符串转换的工具使用 
- 移除内部重复的 toString 函数，替换为统一的 utils.ToString
- 导出作业状态字符串统一使用 constants 包中的状态常量
- 优化导出 SQL 构建中的 CASE WHEN 语句为常量函数调用
- 删除已废弃的代码块和冗余日志打印
- 更新 database 操作中导出作业状态更新逻辑
- 提升代码可维护性与一致性
 2025-12-17 10:34:45 +08:00
zhouyonggao e99dc91ee1 refactor(api): 优化模板API处理器结构与逻辑 
- 重构TemplatesAPI结构体字段命名，区分元数据库和营销数据库
- 统一并优化HTTP路由处理代码，添加详尽注释说明各接口用途
- 增强createTemplate方法，完善请求体解析与错误处理
- 优化listTemplates，实现字段去重计数逻辑，支持用户过滤
- 详细拆解getTemplate，patchTemplate，deleteTemplate和validateTemplate逻辑
- patchTemplate支持多字段动态更新，添加详细日志追踪
- deleteTemplate新增软删除支持，保护关联数据安全
- validateTemplate增强错误分类和索引建议汇总能力
- 新增辅助函数toJSON/fromJSON及countValidFields，提高代码复用性
- 通过selectDataDB区分源数据库连接，提高数据来源正确性

feat(exporter): 增加导出写入器接口与工厂方法

- 定义RowWriter接口，规范所有导出格式写入器实现
- 实现NewWriter工厂函数，根据文件格式动态创建写入器实例
- 统一导出写入器构建流程，便于后续扩展其他格式写入器

feat(logging): 完善统一结构化日志模块

- 新增日志级别常量，支持Debug/Info/Warn/Error多等级
- 提供Init方法初始化日志文件和控制台输出
- 实现JSON格式日志输出，统一日志字段结构
- 提供多种等级便捷方法，简化日志打印调用
- 增强Error日志，附加调用文件和行号定位
- 封装专用日志方法，支持数据库错误、导出进度与SQL日志等

refactor(repo): 重构导出数据访问层，增强功能清晰度

- 优化ExportQueryRepo结构和构造方法
- 规范Build、Explain、Count等核心方法命名与参数
- 增加分块快速估算行数方法
- 完善游标创建及流式数据导出方法签名与流程
- 封装写入器和回调函数类型，增强模块解耦和扩展性
- 统一日志调用，规范错误处理和日志记录格式
 2025-12-17 10:23:43 +08:00
zhouyonggao 1e1fcf9748 refactor(api): 优化模板API处理器结构与逻辑 
- 重构TemplatesAPI结构体字段命名，区分元数据库和营销数据库
- 统一并优化HTTP路由处理代码，添加详尽注释说明各接口用途
- 增强createTemplate方法，完善请求体解析与错误处理
- 优化listTemplates，实现字段去重计数逻辑，支持用户过滤
- 详细拆解getTemplate，patchTemplate，deleteTemplate和validateTemplate逻辑
- patchTemplate支持多字段动态更新，添加详细日志追踪
- deleteTemplate新增软删除支持，保护关联数据安全
- validateTemplate增强错误分类和索引建议汇总能力
- 新增辅助函数toJSON/fromJSON及countValidFields，提高
 2025-12-17 10:16:56 +08:00
zhouyonggao f541a7a30b feat(api): 增强易码通数据导出逻辑以优化字段去重 
在exports.go中新增逻辑，针对易码通数据处理时，保留order_voucher.grant_time字段并移除order_cash.receive_time字段，避免返回空值。此改动提升了字段去重的准确性，确保导出数据符合预期。
 2025-12-15 18:21:55 +08:00