Merge remote-tracking branch 'origin/master'
This commit is contained in:
Mr.Li
commit
f07f052c35
|
|
@ -1,115 +0,0 @@
|
|||
package export
|
||||
|
||||
import (
|
||||
"errors"
|
||||
"github.com/tealeg/xlsx/v3"
|
||||
"reflect"
|
||||
)
|
||||
|
||||
const Sheet_Name = "sheet_1"
|
||||
|
||||
type Excel struct {
|
||||
f *File
|
||||
count int //总数
|
||||
isNew bool
|
||||
titles []string
|
||||
file *xlsx.File
|
||||
sheet *xlsx.Sheet
|
||||
}
|
||||
|
||||
func NewExcel(fileName string, limit int, param map[string]string) *Excel {
|
||||
return &Excel{
|
||||
f: NewFile(fileName, limit, param),
|
||||
}
|
||||
}
|
||||
|
||||
func (e *Excel) slice() {
|
||||
if e.f.slice() {
|
||||
e.reset()
|
||||
}
|
||||
}
|
||||
|
||||
func (e *Excel) reset() {
|
||||
e.save()
|
||||
e.f.NextFile()
|
||||
e.Open()
|
||||
e.WriteTitle(nil)
|
||||
e.slice()
|
||||
}
|
||||
|
||||
func (e *Excel) Open() error {
|
||||
var err error
|
||||
if e.f.IsFileExist() {
|
||||
e.file, err = xlsx.OpenFile(e.f.FileName())
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
} else {
|
||||
e.isNew = true
|
||||
e.file = xlsx.NewFile()
|
||||
}
|
||||
|
||||
var ok bool
|
||||
e.sheet, ok = e.file.Sheet[Sheet_Name]
|
||||
if !ok {
|
||||
e.sheet, err = e.file.AddSheet(Sheet_Name)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
} else {
|
||||
//需要处理偏移数据
|
||||
e.f.SetRow(e.sheet.MaxRow)
|
||||
}
|
||||
|
||||
return nil
|
||||
}
|
||||
|
||||
func (e *Excel) save() error {
|
||||
return e.file.Save(e.f.FileName())
|
||||
}
|
||||
|
||||
func (e *Excel) WriteTitle(titles []string) error {
|
||||
if e.file == nil || e.sheet == nil {
|
||||
return errors.New("没有执行open方法")
|
||||
}
|
||||
|
||||
if titles != nil {
|
||||
e.titles = titles
|
||||
}
|
||||
|
||||
if e.titles != nil && e.isNew {
|
||||
e.Write(e.titles)
|
||||
e.isNew = false
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
func (e *Excel) Write(data interface{}) error {
|
||||
if e.f.slice() {
|
||||
e.reset()
|
||||
}
|
||||
row := e.sheet.AddRow()
|
||||
|
||||
v := reflect.ValueOf(data)
|
||||
if v.Kind() == reflect.Ptr {
|
||||
v = v.Elem()
|
||||
}
|
||||
if v.Kind() != reflect.Slice {
|
||||
return errors.New("数据无效，不是切片类型")
|
||||
}
|
||||
|
||||
switch val := data.(type) {
|
||||
case []string:
|
||||
row.WriteSlice(val, -1)
|
||||
case []interface{}:
|
||||
for _, i := range data.([]interface{}) {
|
||||
cell := row.AddCell()
|
||||
cell.SetValue(i)
|
||||
}
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
func (e *Excel) Close() error {
|
||||
return e.save()
|
||||
}
|
||||
|
|
@ -1,67 +0,0 @@
|
|||
package export
|
||||
|
||||
import (
|
||||
"fmt"
|
||||
"log"
|
||||
)
|
||||
|
||||
type ExcelExporter struct {
|
||||
mFetcher DataFetcher
|
||||
file FileAdapter
|
||||
count int
|
||||
last interface{}
|
||||
}
|
||||
|
||||
func NewExcelExporter(fetcher DataFetcher, file FileAdapter) DataExporter {
|
||||
return &ExcelExporter{
|
||||
mFetcher: fetcher,
|
||||
file: file,
|
||||
}
|
||||
}
|
||||
|
||||
func (ee *ExcelExporter) Fetcher(fetcher DataFetcher) {
|
||||
ee.mFetcher = fetcher
|
||||
}
|
||||
|
||||
func (ee *ExcelExporter) File(file FileAdapter) {
|
||||
ee.file = file
|
||||
}
|
||||
|
||||
func (ee *ExcelExporter) Export(sql, pk string) error {
|
||||
data, err := ee.mFetcher.Fetch(sql)
|
||||
if err != nil {
|
||||
return fmt.Errorf("数据获取错误:%w", err)
|
||||
}
|
||||
ee.count = len(data.Data)
|
||||
//fmt.Printf("Excel Exporter.Excel, got %v data\n", len(data))
|
||||
//ee.file.Open()
|
||||
ee.file.WriteTitle(data.Title)
|
||||
var last []string
|
||||
for _, val := range data.Data {
|
||||
last = val
|
||||
ee.file.Write(last)
|
||||
}
|
||||
|
||||
if len(last) > 0 {
|
||||
ee.last = last[getPkIndex(data.Title, pk)]
|
||||
}
|
||||
//ee.file.Close()
|
||||
return nil
|
||||
}
|
||||
|
||||
func (ee *ExcelExporter) Last() (int, interface{}) {
|
||||
return ee.count, ee.last
|
||||
}
|
||||
|
||||
func getPkIndex(titles []string, pk string) int {
|
||||
if pk == "" {
|
||||
log.Println("pk is not empty")
|
||||
return -1
|
||||
}
|
||||
for i, title := range titles {
|
||||
if title == pk {
|
||||
return i
|
||||
}
|
||||
}
|
||||
return -1
|
||||
}
|
||||
|
|
@ -1,26 +0,0 @@
|
|||
package export
|
||||
|
||||
import (
|
||||
"github.com/stretchr/testify/assert"
|
||||
"os"
|
||||
"testing"
|
||||
)
|
||||
|
||||
func TestExcelExporter_Export(t *testing.T) {
|
||||
data := NewMysqlDataFetcher("aaa")
|
||||
pwd, _ := os.Getwd()
|
||||
file := NewExcel(pwd+"/aa-{begin}.xlsx", 5, map[string]string{"begin": "202301"})
|
||||
e := NewExcelExporter(data, file)
|
||||
file.Open()
|
||||
err := e.Export("aa", "字段1")
|
||||
file.Close()
|
||||
assert.Nil(t, err)
|
||||
|
||||
assert.FileExists(t, pwd+"/aa-202301_0.xlsx")
|
||||
assert.FileExists(t, pwd+"/aa-202301_1.xlsx")
|
||||
assert.NoFileExists(t, pwd+"/aa-202301_2.xlsx")
|
||||
|
||||
_ = os.Remove(pwd + "/aa-202301_0.xlsx")
|
||||
_ = os.Remove(pwd + "/aa-202301_1.xlsx")
|
||||
|
||||
}
|
||||
|
|
@ -1,31 +0,0 @@
|
|||
package export
|
||||
|
||||
import (
|
||||
"github.com/stretchr/testify/assert"
|
||||
"os"
|
||||
"testing"
|
||||
)
|
||||
|
||||
func TestExcel_Write(t *testing.T) {
|
||||
pwd, _ := os.Getwd()
|
||||
e := NewExcel(pwd+"/aa-{begin}.xlsx", 5, map[string]string{"begin": "202301"})
|
||||
|
||||
e.Open()
|
||||
|
||||
e.WriteTitle([]string{"姓名", "年龄"})
|
||||
data := make([]interface{}, 2)
|
||||
data[0] = "张三"
|
||||
for i := 0; i < 9; i++ {
|
||||
data[1] = 10 + i
|
||||
e.Write(data)
|
||||
}
|
||||
e.Close()
|
||||
|
||||
assert.FileExists(t, pwd+"/aa-202301_0.xlsx")
|
||||
assert.FileExists(t, pwd+"/aa-202301_1.xlsx")
|
||||
assert.NoFileExists(t, pwd+"/aa-202301_2.xlsx")
|
||||
|
||||
_ = os.Remove(pwd + "/aa-202301_0.xlsx")
|
||||
_ = os.Remove(pwd + "/aa-202301_1.xlsx")
|
||||
|
||||
}
|
||||
|
|
@ -1,35 +0,0 @@
|
|||
package export
|
||||
|
||||
import (
|
||||
"math/rand"
|
||||
"strconv"
|
||||
)
|
||||
|
||||
type MysqlDataFetcher struct {
|
||||
Config string
|
||||
}
|
||||
|
||||
func (mf *MysqlDataFetcher) Fetch(sql string) (*Data, error) {
|
||||
rows := make([][]string, 0, 6)
|
||||
// 插入6个随机数组成的切片，模拟查询要返回的数据集
|
||||
rows = append(rows, row(), row(), row(), row(), row(), row())
|
||||
return &Data{
|
||||
Title: []string{"字段1", "字段2", "字段3", "字段4", "字段5"},
|
||||
Data: rows,
|
||||
}, nil
|
||||
}
|
||||
|
||||
func NewMysqlDataFetcher(configStr string) DataFetcher {
|
||||
return &MysqlDataFetcher{
|
||||
Config: configStr,
|
||||
}
|
||||
}
|
||||
|
||||
func row() []string {
|
||||
strs := make([]string, 5)
|
||||
nums := rand.Perm(5)
|
||||
for i, num := range nums {
|
||||
strs[i] = strconv.Itoa(num)
|
||||
}
|
||||
return strs
|
||||
}
|
||||
|
|
@ -1,83 +0,0 @@
|
|||
package cmd
|
||||
|
||||
import (
|
||||
"excel_export/biz/config"
|
||||
"excel_export/biz/db"
|
||||
"excel_export/biz/export"
|
||||
"fmt"
|
||||
"strconv"
|
||||
"time"
|
||||
)
|
||||
|
||||
type Excel struct {
|
||||
conf *config.Config
|
||||
}
|
||||
|
||||
func NewExcel(conf *config.Config) *Excel {
|
||||
return &Excel{
|
||||
conf: conf,
|
||||
}
|
||||
}
|
||||
|
||||
func (e *Excel) Export(sysName, jobName string, begin, end time.Time, batch int) error {
|
||||
job, dbStr, err := config.GetJob(e.conf, sysName, jobName)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
d, err := db.NewDb(dbStr)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
return e.JobHandler(job, d, map[string]interface{}{
|
||||
"begin": begin,
|
||||
"end": end,
|
||||
"last": 0,
|
||||
}, batch)
|
||||
}
|
||||
|
||||
func (e *Excel) JobHandler(job config.Job, d export.DataFetcher, params map[string]interface{}, batch int) error {
|
||||
|
||||
f := export.NewExcel(job.File, job.Size, map[string]string{
|
||||
"begin": params["begin"].(time.Time).Format("20060102"),
|
||||
"end": params["end"].(time.Time).Format("20060102"),
|
||||
})
|
||||
|
||||
for i, task := range job.Tasks {
|
||||
fmt.Printf("执行导出任务：%d\n", i+1)
|
||||
if err := e.TaskExport(d, task, params, f, batch); err != nil {
|
||||
return err
|
||||
}
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
func (e *Excel) TaskExport(d export.DataFetcher, t config.Task, params map[string]interface{}, f export.FileAdapter, batch int) error {
|
||||
//todo 最多分1000个批次进行处理
|
||||
|
||||
f.Open()
|
||||
defer f.Close()
|
||||
for i := 0; i < 1000; i++ {
|
||||
sql := t.GetSql(params)
|
||||
|
||||
e := export.NewExcelExporter(d, f)
|
||||
|
||||
e.Export(sql+" limit "+strconv.Itoa(batch), t.PK)
|
||||
|
||||
count, last := e.Last()
|
||||
fmt.Printf("已导出 %d 条数据\n", batch*i+count)
|
||||
|
||||
if count == 0 {
|
||||
return nil
|
||||
}
|
||||
|
||||
if count < batch {
|
||||
break
|
||||
}
|
||||
|
||||
params["last"] = last
|
||||
time.Sleep(time.Microsecond * 30)
|
||||
}
|
||||
return nil
|
||||
}
|
||||
Loading…
Reference in New Issue