zhouyonggao
/
MarketingSystemDataExportTool
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
214 Commits 1 Branch 0 Tags 7.2 MiB
Commit Graph

100 Commits

Author SHA1 Message Date
zhouyonggao fde87fde96 feat(api): 支持 gRPC 用户服务集成 
- 更新路由以支持 gRPC 服务器地址配置
- 修改 YMTUsersHandler 以使用 gRPC 客户端进行用户数据查询
- 添加 gRPC 连接失败的降级处理逻辑
- 引入 gRPC 生成的代码以支持用户服务调用
 2025-12-20 14:11:28 +08:00
zhouyonggao e8c264a384 refactor(exports): 使用并行导出替代串行分块导出 
- 移除旧的串行分块导出代码，改为基于分片的并行导出机制
- 引入并行导出配置，支持设置分片数量、最大并发数和每文件最大行数
- 预估总行数作为并行导出总行数，用于更合理的任务拆分
- 新增并行导出过程中的进度更新和文件创建回调处理
- 并行导出失败时记录错误日志并标记导出任务失败
- 保留原有Transform行数据转换功能，保证数据一致性
- 优化日志输出，详细记录并行导出过程中的错误信息
 2025-12-19 18:43:43 +08:00
zhouyonggao 328a8ced3a feat(export): 实现导出进度缓存及zip压缩优化 
- 新增导出任务实时进度缓存模块，提供设置、获取和清除进度缓存接口
- 导出进度更新时只更新缓存，不再频繁写入数据库，减轻数据库压力
- 导出完成时清除进度缓存，释放内存资源
- API返回的导出进度字段改为实时缓存数据，提升前端实时性
- 导出列表也使用实时缓存的进度数据替换原数据库字段
- 优化ZipFiles函数，使用DEFLATE算法压缩分片文件，提高压缩效率
- 维护代码注释，明确缓存和压缩实现逻辑
 2025-12-19 18:04:13 +08:00
zhouyonggao d96271edf9 refactor(export): 优化导出任务进度更新，减少数据库写入 
- 引入内存进度跟踪器ProgressTracker管理进度状态
- 将多处调用rrepo.UpdateProgress替换为ProgressTracker.Update
- 增加周期性和时间间隔同步限制，降低数据库写入频率
- 实现导出完成时的最终同步以保证进度准确更新
- 统一管理各类型导出任务的进度更新逻辑
- 保持导出流程原有功能不变，提高性能和稳定性
 2025-12-19 17:49:41 +08:00
zhouyonggao 48979b41d1 feat(exports): 支持服务启动时恢复未完成的导出任务 
- 在服务启动时自动查询并恢复所有运行状态的导出任务
- 为导出任务增加重启次数计数及进度重置功能，确保任务重试正确性
- 将原有导出任务执行流程抽象出根据任务ID恢复任务的方法
- 修复导出任务相关数据库访问，统一使用结构体内db连接字段
- 优化导出任务文件处理与状态更新流程，提升任务恢复的稳定性
- 新增导出任务运行状态查询接口以支持任务恢复功能
- 改进错误日志记录，便于排查任务恢复中的异常情况
 2025-12-19 17:44:29 +08:00
zhouyonggao c5f6f6c6e9 fix(api): 增强创建者选择逻辑以支持手机号自动匹配 
- 更新创建者查询逻辑，新增手机号字段以便于选择
- 修改前端逻辑，支持通过 URL 中的手机号自动选中创建者
- 优化创建者选择组件，确保在禁用状态下仍能正确显示选项
- 增强日志记录，提供手机号匹配的调试信息，提升用户体验
 2025-12-19 17:09:39 +08:00
zhouyonggao ccb12da7f3 fix(exports): 更新导出逻辑以移除自动用户ID转换 
- 删除从 URL 参数 userId 和 current_user_id 自动转换为 creator_in 的逻辑
- 更新相关注释，明确 current_user_id 仅用于记录导出任务的 owner，不用于数据过滤
- 强调用户需手动选择 creator 进行过滤，提升数据过滤的安全性和灵活性
 2025-12-19 02:24:54 +08:00
zhouyonggao fca0e70115 fix(exports): 优化导出逻辑以支持多数据源和参数类型记录 
- 修改 runJob 函数，重命名参数 fmt 为 fileFormat，提升可读性
- 在 runJob 中添加对查询参数类型的记录，便于调试和排查问题
- 更新 create 函数中的过滤条件逻辑，确保适用于所有数据源
- 引入 toIntID 函数，安全地将多种类型转换为 int64，优化 SQL 构建过程中的参数处理
- 记录导出查询的首行数据和零行结果，增强日志信息以便于后续分析
 2025-12-19 02:12:44 +08:00
zhouyonggao 57a32855fc fix(api): 删除未使用的变量以清理代码 
- 移除了多余的变量used，减少不必要的内存占用
- 优化了list函数中的代码结构
- 提高了代码的可读性和维护性
 2025-12-19 01:04:43 +08:00
zhouyonggao 43d67073c9 fix(api): 修正用户列表查询逻辑以避免重复 
- 将查询语句从 activity 表改为 user 表，优化数据来源
- 修改排序字段由 user_id 改为 id，保持一致性
- 移除代码中对用户 ID 的去重逻辑，简化处理流程
- 保持空用户名用用户 ID 字符串替代的逻辑不变
 2025-12-19 01:00:51 +08:00
zhouyonggao 4b573d3981 fix(exports): 修正 creator_in 过滤条件逻辑 
- 调整在 marketing 数据集的 order 或 order_info 主要表时，
  当存在 plan_id_eq 或 reseller_id_eq 过滤参数，不设置 creator_in
- 在 mergePermissionIntoFilters 函数中，传递了 plan_id_eq 或 reseller_id_eq 时，
  删除已有的 creator_in 和 creator_ids 过滤，避免重复过滤
- 优化过滤逻辑，确保在特定条件下 creator_in 不会被错误附加
- 保留当 creator_in 已经存在且非空时的过滤行为不变
 2025-12-18 23:39:39 +08:00
zhouyonggao 13b4ff56df fix(api): 优化权限过滤器中 plan_id_eq 与 reseller_id_eq 的设置逻辑 
- 将 plan_id_eq 和 reseller_id_eq 的赋值提至过滤 creator 判断之前
- 避免重复映射相同的权限边界字段
- 保持营销数据集订单相关过滤条件的正确性
- 简化 skipCreator 标签区域中重复的代码逻辑
 2025-12-18 23:34:19 +08:00
zhouyonggao dd559f2f78 fix(api): 调整权限合并逻辑以支持plan_id_eq和reseller_id_eq过滤 
- 在marketing数据源且主资源为order或order_info时
- 若filters包含非空的plan_id_eq或reseller_id_eq，则跳过creator过滤
- 优化了对权限中多个可能user id字段的检测逻辑
- 统一将识别到的用户ID写入filters的creator_in字段
- 保留了对reseller_id和merchant_id的兼容处理逻辑
 2025-12-18 23:26:09 +08:00
zhouyonggao 5608897284 fix(api): 修复用户列表接口查询和去重逻辑 
- 移除无效的查询参数处理，简化SQL查询语句
- 修复对用户ID的重复数据去重逻辑，确保结果唯一
- 统一代码格式和缩进，提高代码可读性
- 保留按user_id升序排序及查询限制功能
- 保证接口在无匹配路由时返回404状态码
 2025-12-18 23:06:32 +08:00
zhouyonggao 02af4a91f4 fix(metadata): 修正发券方式字段隐藏状态 
- 将 voucher.receive_mode 字段的 Hidden 属性从 false 改为 true
- 确保发券方式字段在界面中默认隐藏
- 保持其他字段的隐藏状态不变
 2025-12-18 22:39:07 +08:00
zhouyonggao 8868051767 fix(api): 修正userId字段JSON键名 
- 修改JSON_CONTAINS中字段键名由'user_id'为'userId'
- 保证用户ID匹配逻辑正确执行
- 防止因键名错误导致的查询失败
 2025-12-18 22:04:33 +08:00
zhouyonggao 962d1c0ae3 fix(api): 修复商户列表查询逻辑并增强用户过滤条件 
- 修改查询条件，将 `delete_time` 为空作为有效数据筛选
- 优化用户过滤，支持 `user_id` 字段匹配及 JSON 字段中包含该用户
- 修正代码格式和缩进以提升可读性
- 增加对请求参数 `limit` 的范围校验
- 优化错误处理逻辑，确保查询异常时返回正确状态码
 2025-12-18 22:02:04 +08:00
zhouyonggao c45cabbfdc fix(api): 修复分销商查询时销售员ID筛选条件错误 
- 修改SQL查询，添加 salesmen_id 作为筛选条件
- 传递salesman_id对应的参数，确保查询参数正确
- 保持原有creator参数传递逻辑不变
- 解决遗漏salesman_id参数引起的查询异常问题
 2025-12-18 21:56:42 +08:00
zhouyonggao a8b7c77e03 feat(api): 支持按creator参数过滤经销商列表 
- 新增creator参数解析，支持按多个creator过滤
- 根据传入creator构建SQL查询条件及参数绑定
- 当creator参数为空时，返回空列表避免无效查询
- 保持原有按q参数模糊搜索功能不变
- 限制默认返回记录数为2000，增强接口性能
 2025-12-18 21:38:28 +08:00
zhouyonggao 11a93996e5 feat(api): 支持营销代理数据库并优化代理列表查询 
- 新增配置项支持营销代理数据库连接
- 主服务启动时根据配置连接营销代理MySQL，若无配置则使用营销库回退
- ResellersAPI 使用独立的营销代理数据库替代原营销数据库查询
- 优化代理列表接口，改为从reseller表查询代理Id及名称
- 修改路由注册，使用营销代理数据库处理代理相关路由请求
- 调整相关代码实现，提升代理数据查询灵活性和健壮性
 2025-12-18 21:37:13 +08:00
zhouyonggao 4b313adebb fix(exports): 修复导出接口用户ID参数传递问题 
- 取消从查询参数中获取 current_user_id 和 userId 的逻辑
- 调用 CountJobs 和 ListJobs 时传入空字符串替代用户ID
- 避免因传递错误用户ID导致的数据过滤错误
 2025-12-18 21:11:18 +08:00
zhouyonggao b09865fcbd fix(api): 修正导出接口中用户ID参数获取逻辑 
- 优先从请求参数中获取 current_user_id
- 若 current_user_id 为空则退回获取 userId
- 保证查询用户导出任务时使用正确的用户ID参数
- 提升接口的兼容性和灵活性
 2025-12-18 21:09:12 +08:00
zhouyonggao 0de192c9b4 feat(export): 根据预估行数限制xlsx格式导出 
- 新增xlsx格式最大行数阈值配置，超过该阈值则导出格式强制为csv
- 查询export_jobs表中作业的预估行数用于判断格式切换
- 记录格式切换时的日志，包含作业ID、预估行数及阈值信息
- 避免xlsx格式导出过大文件，提高导出效率和稳定性
- 在export常量中添加XlsxMaxRows配置项，默认值为100000行
 2025-12-18 20:58:23 +08:00
zhouyonggao 5020b6bc61 fix(api): 统一用户ID参数及禁止删除公共模板 
- 将模板相关接口中用户ID参数"userId"改为"current_user_id"
- 修改前端模板列表删除按钮的显示逻辑
- API新增检查删除模板时是否为公共模板，owner_id为0时禁止删除
- 删除模板前检查模板存在性，返回404错误
- 修改调用构建查询字符串时使用"current_user_id"参数
- 更新请求URL构建逻辑，确保传递正确的用户ID参数
 2025-12-18 18:27:25 +08:00
zhouyonggao 41e00e3fd6 fix(api): 隐藏组合商品基础信息字段 
- 修改 code_batch.group_info 字段的 Hidden 属性为 true
- 保持其他字段显示状态不变
- 确保组合商品基础信息在前端不再默认展示
 2025-12-18 17:38:38 +08:00
zhouyonggao d5eec5c0a6 fix(api): 将部分卡券字段设置为隐藏 
- 修改voucher.card_type字段的隐藏属性为true
- 修改voucher.early_notifier字段的隐藏属性为true
- 保持其他字段的隐藏状态不变，增强数据展示的隐私性和整洁度
 2025-12-18 17:35:50 +08:00
zhouyonggao 2d1698ae60 fix(api): 隐藏优惠券Id字段 
- 将订单元数据中的优惠券Id字段设置为隐藏
- 保持其他字段的显示状态不变
- 确保前端不显示该优惠券Id信息以保护数据隐私
 2025-12-18 17:08:49 +08:00
zhouyonggao 1e36d40bb1 fix(api): 修改立减金状态标签为立减金核销状态 
- 更新metadata.go中立减金状态标签为“立减金核销状态”
- 更新fields.go中立减金状态标签为“立减金核销状态”
 2025-12-18 17:07:10 +08:00
zhouyonggao 089dd52722 fix(api): 隐藏元数据表中活动名称字段 
- 将活动名称字段的隐藏属性由false改为true
- 调整前端接口中元数据的显示配置
- 保持其他字段的隐藏状态不变
 2025-12-18 17:02:26 +08:00
zhouyonggao dcd4992bc8 feat(api): 添加立减金主体类型映射及展示支持 
- 在导出接口中将goods_voucher_subject_config.type字段的数值映射为对应标签显示
- 新增VoucherSubjectType映射，支持支付宝、微信、云闪付三种主体类型
- 修改字段标签描述，将“主体类型”更新为“立减金主体类型”以更准确表达含义
 2025-12-18 16:57:17 +08:00
zhouyonggao 544a883dac fix(api): 优化立减金领取模式映射逻辑 
- 新增易码通立减金领取模式映射 YMTVoucherReceiveMode
- 根据数据源区分使用对应的领取模式映射
- 修正 order_voucher.receive_mode 和 voucher.receive_mode 字段的转换逻辑
- 保持营销系统和易码通的领取模式显示一致性
 2025-12-18 16:52:07 +08:00
zhouyonggao 40962d9b30 fix(metadata): 修正活动状态字段显示问题 
- 将活动状态字段在元数据中设置为隐藏
- 更新活动状态字段标签为“活动状态”以保持一致性
- 统一字段标签以提升界面显示的准确性和用户理解度
 2025-12-18 16:12:52 +08:00
zhouyonggao 8029f73a7d fix(metadata): 隐藏供应商类型字段 
- 将供应商类型字段的Hidden属性由false改为true
- 调整商户相关元数据表的展示配置
- 保持其他字段的可见性不变
 2025-12-18 16:11:11 +08:00
zhouyonggao 11fdfa7dd9 fix(api): 调整营销及订单凭证元数据字段显示状态 
- 移除外部请求时间字段的隐藏标记以修正展示问题
- 将订单凭证的外部业务号字段设置为隐藏，提升数据隐私保护
- 优化元数据表中相关字段的可见性配置以符合业务需求
 2025-12-18 15:54:13 +08:00
zhouyonggao 8fb3eeee42 feat(api): 添加key码API发放状态字段转换功能 
- 在导出接口中新增merchant_key_send.status字段的转换逻辑
- 根据状态码映射常量将状态值转换为中文标签
- 增加MerchantKeySendStatus枚举定义，包含已发放、已核销、已作废和充值中状态
- 优化导出数据时的特殊字段处理流程
 2025-12-18 15:46:53 +08:00
zhouyonggao 1c169cf2d7 fix(api): 调整营销元数据表字段隐藏状态及标签描述 
- 将 "外部请求时间" 字段的隐藏属性设置为隐藏，确保其不在默认视图中显示
- 修改 "商户业务号" 标签为 "外部API调用业务号"，使其描述更准确
- 修改 "状态" 标签为 "API调用状态"，提升标签表达的明确性
 2025-12-18 15:45:58 +08:00
zhouyonggao ccb90005fe feat(api): 添加红包状态映射转换功能 
- 在导出API中添加对order_cash.status字段的状态转换处理
- 实现红包状态数值到字符串标签的映射（正常、已过期）
- 在constants中新增MarketingOrderCashStatus枚举映射
- 保证红包状态值在有效范围时进行转换显示
 2025-12-18 15:41:02 +08:00
zhouyonggao 8702767e47 feat(api): 增加 key_batch.style 字段转换功能 
- 在 transformRow 函数中添加对 key_batch.style 的处理逻辑
- 根据整数值映射对应的标签名称进行替换
- 避免负值和不存在映射的情况影响输出
- 优化特殊字段转换处理流程
 2025-12-18 15:32:40 +08:00
zhouyonggao 7b7dcc66d6 refactor(api): 优化立减金打开方式映射逻辑 
- 将 voucher.is_webview 的打开方式映射从 switch 改为统一的map查询
- 在 constants 中新增 VoucherOpenMode 映射表，提升代码可维护性
- 移除冗余的分支判断，代码更简洁清晰
- 保持功能一致，确保映射结果不变
 2025-12-18 15:28:20 +08:00
zhouyonggao aa3df428b1 feat(api): 支持voucher.is_webview字段多语言转换 
- 新增voucher.is_webview字段的转换，将0、1、2映射为微信小程序、公众号、通用
- 优化导出接口中voucher打开方式的显示逻辑
- 在枚举常量中添加MarketingSettlementType的未设置状态0映射说明
 2025-12-18 15:27:44 +08:00
zhouyonggao 326eec184f feat(api): 增加营销系统枚举类型映射及导出数据转换支持 
- 新增MarketingSettlementType、MarketingPeriodType、MarketingSendMethod、MarketingRechargeType枚举映射
- 在导出接口中根据数据源区分结算方式，支持YMT和营销系统不同枚举转换
- 增加plan.send_method、code_batch.period_type和code_batch.recharge_type字段的枚举值转换
- 优化导出数据中相关字段的可读性，便于理解和使用枚举标签展示
 2025-12-18 15:23:15 +08:00
zhouyonggao 2ed9a0ce55 refactor(api): 添加 parseIntVal 函数解析字符串为整数 
- 实现 parseIntVal 函数，尝试将字符串转换成整数
- 失败或空字符串时返回 -1 作为默认值
- 遍历字符判断并累积转换为整数
- 简化字符串到整数的转换逻辑，提高代码复用性
 2025-12-18 15:14:54 +08:00
zhouyonggao da0c764646 feat(api): 添加导出数据枚举字段中文标签转换功能 
- 在导出数据转换函数中新增多字段枚举值解析和映射为中文标签
- 支持订单类型、状态、支付方式、支付状态等多个枚举字段转换
- 增加立减金、红包相关渠道及状态枚举转换
- 新增结算类型、供应商类型、领取方式等特殊枚举转换
- 更新字段标签映射，保持导出字段中文描述一致性
- 统一处理不同数据源(ds)的枚举映射，区分ymt与marketing标签
 2025-12-18 15:14:35 +08:00
zhouyonggao 9902096658 fix(api): 调整KEY批次和兑换码批次显示状态 
- 将KEY批次ID字段的Hidden属性设为false，取消隐藏
- 修改KEY批次ID的Label为“KEY批次ID”
- 将Code批次ID字段的Hidden属性设为false，取消隐藏
- 修改Code批次ID的Label为“兑换码批次ID”
 2025-12-18 14:52:04 +08:00
zhouyonggao cf9ae5d3f0 feat(server): 使用Marketing Authorization DB替换部分创作者查询逻辑 
- 在server启动时新增Marketing Authorization数据库连接及连接池配置
- 新增router参数以支持Marketing Authorization数据库传递
- CreatorsAPI使用Marketing Authorization数据库替代原marketing数据库查询
- 优化CreatorsAPI查询逻辑，直接查询admin_user表，简化多库回退查询
- 更新配置文件支持Marketing Authorization数据库的DSN配置项
- 相关路由处理器参数调整，确保创作者相关接口走授权库查询逻辑
 2025-12-18 14:45:08 +08:00
zhouyonggao f936e31cd6 fix(metadata): 修复红包领取时间字段显示状态 
- 将红包领取时间字段的隐藏状态由显示改为隐藏
- 统一红包相关时间字段的显示设置
- 避免红包领取时间信息在界面上被错误展示
 2025-12-18 14:21:46 +08:00
zhouyonggao 7ee6ef546f fix(api): 修正支付流水号标签为外部交易号 
- 将字段 order.out_trade_no 的标签从“支付流水号”修改为“外部交易号”以提高准确性
- 确保前端显示的标签与实际业务含义一致
- 优化订单相关元数据的表述规范
 2025-12-18 14:17:31 +08:00
zhouyonggao b8f2d70c3e fix(api): 修复营销系统非直充类型字段过滤逻辑 
- 在导出字段中过滤非直充类型时增加移除account字段
- 调整日志信息，说明非直充类型不导出充值时间、卡密和账号
- 元数据处理中营销系统非直充类型字段显示控制新增account字段
- 保证直充类型(type=1)才显示recharge_time、card_code和account字段
 2025-12-18 14:09:24 +08:00
zhouyonggao 0855c047fc fix(api): 修改红包领取者唯一标识的标签描述 
- 将红包领取者唯一标识的标签从“红包领取者唯一标识 微信open_id/支付宝alipay_user_id”改为“领取账号”
- 保持字段键和隐藏属性不变
- 优化表格元数据的用户理解度
 2025-12-18 14:07:37 +08:00
zhouyonggao bc6316f279 fix(api): 隐藏订单过期处理时间字段 
- 将订单中过期处理时间字段的 Hidden 属性由 false 修改为 true
- 调整元数据表配置，防止过期时间字段在界面上显示
- 优化订单信息展示的字段可见性管理
 2025-12-18 13:54:49 +08:00