l-export-async/README.md

安装

$ go get  gitea.cdlsxd.cn/self-tools/l-export-async

使用

task, err := export_async.NewExportAsync(
fmt.Sprintf("%s%s", "分销商账户-交易明细", time.Now().Format("20060102150405")),
s.balanceLogsFiled(),
s.cfg.Rpc.GetAttachmentDomain(),
export_async.NewRedisTaskStore(s.d.Rdb),
export_async.WithCustomBatchSize(10000),
export_async.WithCustomBatchSize(10000),
export_async.WithCursor(func(ctx context.Context, cursor interface{}, limit int) ([][]interface{}, interface{}, error) {
req.Page = &api.PageReq{
Page:     1,
PageSize: int32(limit),
}
req.Id = uint64(cursor.(int32))
resp, err := s.BalanceLogs(ctx, req)
if len(resp.Data) == 0 {
return nil, nil, nil
}
last := resp.Data[len(resp.Data)-1].Id
return s.balanceLogsToCollect(resp.Data), last, err
}, idMax),
export_async.WithLogPrint(s.log),
export_async.WithMaxRowPerFile(1000000),
).Run(ctx)
if err != nil {

return nil, myerr.ErrorParamError("导出失败，请稍后重试:" + err.Error())
}
return &api.TaskReply{Task: task}, nil

主要功能

1. 异步导出任务管理

• 使用 context.Context 支持上下文取消和超时控制。
• 通过 Task 结构体跟踪任务状态（ID、进度、错误信息、数据量等）。
• 支持任务进度更新和持久化存储（通过 TaskSaveTool 接口）。

---

2. 并发处理

• CSV 导出：将数据分页写入多个 CSV 文件。
• Excel (XLSX) 导出：将多个 CSV 文件合并为多个 Excel 文件（支持流式处理，避免内存溢出）。
• ZIP 打包：将生成的 Excel 文件打包为 ZIP 文件。

---

3. 数据分页与批量处理

• 支持分页查询数据（batchSize 控制每页大小）
• 支持限制每个 Excel 文件的最大行数（maxRowPerFile）。
• 支持 CSV 转 Excel 时的批量写入缓冲区大小（csvToExcelBatch）。

---

4. 文件上传

• 支持将生成的 ZIP 文件上传到指定服务器（通过 Uploader 配置）。
• 上传后生成可访问的 URL（通过 GeneratePreviewPrivateUrl 生成预览链接）。

---

5. 日志记录

• 通过 LogTool 接口记录任务执行过程中的日志（如进度、错误信息等）。

---

6. 临时文件管理

• 自动创建临时目录（/csv/、/xlsx/、/zip/）并清理。
• 支持自定义文件扩展名（extension）、Sheet 名称（sheetName）等。

---

7. 可扩展性

• 通过 ExportOption 函数式选项模式支持灵活配置（如自定义上传器、日志工具、工作协程数等）。
• 通过接口（DataProviderFn、TaskSaveTool、LogTool）支持自定义实现。

亮点

1. 高性能与低内存占用

• 使用流式处理（csv.Writer 和 zip.Writer）避免一次性加载所有数据到内存。
• 通过分页查询和并发处理减少数据库压力。
• 使用 sync.Pool 复用 ExportAsync 实例，减少内存分配。

---

2. 进度跟踪与任务状态管理

• 支持任务状态持久化（如存储到 Redis），方便前端查询进度

---

3. 灵活的配置

• 支持通过函数式选项（ExportOption）动态配置导出任务（如自定义上传器、日志工具、工作协程数等）。
• 默认配置合理（如 batchSize=10000、maxRowPerFile=10000），同时支持覆盖。

---

4. 支持大数据量导出

• 通过分页和并发处理支持导出千万级数据。
• 支持限制每个 Excel 文件的行数，避免单个文件过大。

---

适用场景

• 需要导出大量数据（如报表、日志、用户数据等）到 Excel 或 CSV 的场景。
• 需要支持异步导出（避免阻塞主流程）的场景。
• 需要将导出的文件上传到服务器（如 OSS、FTP 等）的场景。
• 需要进度跟踪和任务状态管理的场景。