620 lines
17 KiB
Markdown
620 lines
17 KiB
Markdown
# AI平台收集功能使用说明
|
||
|
||
## 概述
|
||
|
||
`internal/collect` 模块提供了访问多个AI平台并进行问答的功能，目前支持以下平台：
|
||
|
||
- **文心一言** (wenxin) - 百度AI助手
|
||
- **DeepSeek** (deepseek) - 深度求索AI
|
||
- **豆包** (doubao) - 字节跳动AI助手
|
||
- **通义千问** (qianwen) - 阿里云AI助手
|
||
|
||
## 架构设计
|
||
|
||
### 核心组件
|
||
|
||
1. **CollectorInterface** - 收集器接口
|
||
- `WaitLogin() (bool, string)` - 等待登录
|
||
- `AskQuestion(question string) (string, error)` - 提问并获取答案
|
||
|
||
2. **BaseCollector** - 基础收集器
|
||
- 浏览器驱动管理
|
||
- Cookie管理（保存/加载）
|
||
- 页面操作工具方法
|
||
|
||
3. **CollectManager** - 收集管理器
|
||
- 统一管理不同平台的收集器
|
||
- 提供便捷的API调用
|
||
|
||
4. **平台实现**
|
||
- `WenxinCollector` - 文心一言实现
|
||
- `DeepseekCollector` - DeepSeek实现
|
||
- `DoubaoCollector` - 豆包实现
|
||
- `QianwenCollector` - 通义千问实现
|
||
|
||
## 快速开始
|
||
|
||
### 1. 基本使用
|
||
|
||
``go
|
||
package main
|
||
|
||
import (
|
||
"context"
|
||
"fmt"
|
||
"geo/internal/collect"
|
||
"geo/internal/config"
|
||
"log"
|
||
"os"
|
||
)
|
||
|
||
func main() {
|
||
// 加载配置
|
||
cfg := &config.Config{
|
||
Sys: config.SysConfig{
|
||
ChromePath: "chrome/chrome.exe", // Chrome浏览器路径
|
||
ChromeDataDir: "chrome_data", // Chrome数据目录
|
||
CookiesDir: "cookies", // Cookie存储目录
|
||
LogsDir: "logs", // 日志目录
|
||
},
|
||
}
|
||
|
||
ctx := context.Background()
|
||
logger := log.New(os.Stdout, "", log.LstdFlags)
|
||
|
||
// 创建管理器
|
||
manager := collect.NewCollectManager(ctx, cfg, logger)
|
||
|
||
// 设置参数
|
||
params := &collect.CollectParams{
|
||
Headless: false, // 是否无头模式（false显示浏览器窗口）
|
||
UserIndex: "user_001", // 用户索引
|
||
PlatIndex: "wenxin", // 平台索引
|
||
RequestID: "req_001", // 请求ID
|
||
Platform: "wenxin", // 平台类型
|
||
}
|
||
|
||
// 向文心一言提问
|
||
question := "请介绍一下Go语言的特点"
|
||
answer, err := manager.AskQuestion("wenxin", params, question)
|
||
if err != nil {
|
||
fmt.Printf("错误: %v\n", err)
|
||
return
|
||
}
|
||
|
||
fmt.Printf("问题: %s\n", question)
|
||
fmt.Printf("答案: %s\n", answer)
|
||
}
|
||
```
|
||
|
||
### 2. 多平台对比
|
||
|
||
``go
|
||
// 向多个AI平台提问同一个问题
|
||
platforms := []string{"wenxin", "deepseek", "doubao", "qianwen"}
|
||
question := "什么是人工智能？"
|
||
|
||
for _, platform := range platforms {
|
||
params := &collect.CollectParams{
|
||
Headless: true,
|
||
UserIndex: "user_001",
|
||
PlatIndex: platform,
|
||
RequestID: fmt.Sprintf("req_%s", platform),
|
||
Platform: platform,
|
||
}
|
||
|
||
answer, err := manager.AskQuestion(platform, params, question)
|
||
if err != nil {
|
||
fmt.Printf("[%s] 错误: %v\n", platform, err)
|
||
continue
|
||
}
|
||
|
||
fmt.Printf("[%s] 答案: %s\n\n", platform, answer)
|
||
}
|
||
```
|
||
|
||
### 3. 登录管理
|
||
|
||
``go
|
||
// 首次使用时需要登录
|
||
params := &collect.CollectParams{
|
||
Headless: false, // 显示浏览器窗口以便扫码登录
|
||
UserIndex: "user_001",
|
||
PlatIndex: "wenxin",
|
||
RequestID: "login_req",
|
||
Platform: "wenxin",
|
||
}
|
||
|
||
// 等待登录（会打开浏览器窗口，需要手动扫码或输入账号密码）
|
||
success, msg := manager.WaitLogin("wenxin", params)
|
||
if success {
|
||
fmt.Println("登录成功！Cookie已保存")
|
||
} else {
|
||
fmt.Printf("登录失败: %s\n", msg)
|
||
}
|
||
|
||
// 后续使用会自动加载Cookie，无需重复登录
|
||
params.Headless = true // 可以切换到无头模式
|
||
answer, _ := manager.AskQuestion("wenxin", params, "你好")
|
||
```
|
||
|
||
### 4. 列出支持的平台
|
||
|
||
``go
|
||
platforms := manager.ListPlatforms()
|
||
fmt.Printf("支持的平台: %v\n", platforms)
|
||
// 输出: 支持的平台: [wenxin deepseek doubao qianwen]
|
||
```
|
||
|
||
## 配置说明
|
||
|
||
### 必需的配置项
|
||
|
||
``go
|
||
type SysConfig struct {
|
||
ChromePath string // Chrome浏览器可执行文件路径
|
||
ChromeDataDir string // Chrome用户数据目录
|
||
CookiesDir string // Cookie存储目录
|
||
LogsDir string // 日志文件目录
|
||
}
|
||
```
|
||
|
||
### 示例配置
|
||
|
||
``go
|
||
cfg := &config.Config{
|
||
Sys: config.SysConfig{
|
||
ChromePath: "/usr/bin/google-chrome", // Linux
|
||
// ChromePath: "C:\\Program Files\\Google\\Chrome\\Application\\chrome.exe", // Windows
|
||
ChromeDataDir: "./chrome_data",
|
||
CookiesDir: "./cookies",
|
||
LogsDir: "./logs",
|
||
},
|
||
}
|
||
```
|
||
|
||
## 工作流程
|
||
|
||
1. **初始化浏览器** - 启动Chrome浏览器实例
|
||
2. **加载Cookie** - 从本地文件加载之前的登录状态
|
||
3. **检查登录** - 验证是否已登录
|
||
4. **导航到聊天页面** - 打开AI平台的对话界面
|
||
5. **输入问题** - 在输入框中输入问题
|
||
6. **点击发送** - 触发AI回答
|
||
7. **等待回答** - 等待AI生成完整答案
|
||
8. **提取答案** - 从页面中提取回答内容
|
||
9. **返回结果** - 将答案返回给调用者
|
||
|
||
## 注意事项
|
||
|
||
### 1. 首次使用需要登录
|
||
|
||
每个平台首次使用时需要手动登录：
|
||
- 设置 `Headless: false` 显示浏览器窗口
|
||
- 调用 `WaitLogin()` 方法
|
||
- 在浏览器中完成登录操作（扫码或输入账号密码）
|
||
- 登录成功后Cookie会自动保存
|
||
|
||
### 2. Cookie管理
|
||
|
||
- Cookie保存在 `cookies/{UserIndex}/{PlatIndex}.json`
|
||
- 下次使用会自动加载Cookie，无需重复登录
|
||
- 如果登录失效，重新调用 `WaitLogin()` 即可
|
||
|
||
### 3. 选择器适配
|
||
|
||
由于AI平台的页面结构可能会更新，如果遇到问题可能需要调整CSS选择器：
|
||
- 在对应的Collector文件中修改 `inputSelectors`、`sendSelectors`、`answerSelectors`
|
||
- 可以通过浏览器的开发者工具查看最新的元素选择器
|
||
|
||
### 4. 超时设置
|
||
|
||
- 登录超时: 180-300秒
|
||
- 回答超时: 120秒
|
||
- 可根据实际情况在代码中调整
|
||
|
||
### 5. 无头模式
|
||
|
||
- 开发调试时建议设置 `Headless: false`
|
||
- 生产环境可以设置 `Headless: true` 节省资源
|
||
|
||
## 扩展新平台
|
||
|
||
如果要添加新的AI平台，需要：
|
||
|
||
1. 创建新的Collector文件，如 `newplatform.go`
|
||
2. 实现 `CollectorInterface` 接口
|
||
3. 继承 `BaseCollector` 基础结构
|
||
4. 在 `interface.go` 的 `CollectorMap` 中注册
|
||
|
||
示例：
|
||
|
||
``go
|
||
package collect
|
||
|
||
import (
|
||
"context"
|
||
"geo/internal/config"
|
||
"log"
|
||
)
|
||
|
||
type NewPlatformCollector struct {
|
||
*BaseCollector
|
||
}
|
||
|
||
func NewNewPlatformCollector(ctx context.Context, params *CollectParams, cfg *config.Config, logger *log.Logger) CollectorInterface {
|
||
collector := &NewPlatformCollector{
|
||
BaseCollector: NewBaseCollector(ctx, params, cfg, logger),
|
||
}
|
||
collector.LoginURL = "https://example.com/login"
|
||
collector.ChatURL = "https://example.com/chat"
|
||
return collector
|
||
}
|
||
|
||
// 实现 CheckLoginStatus、WaitLogin、AskQuestion 等方法
|
||
// ...
|
||
```
|
||
|
||
然后在 `interface.go` 中注册：
|
||
|
||
``go
|
||
var CollectorMap = map[string]*CollectorValue{
|
||
// ... 其他平台
|
||
"newplatform": {
|
||
Name: "新平台",
|
||
InitMethod: NewNewPlatformCollector,
|
||
Platform: "newplatform",
|
||
},
|
||
}
|
||
```
|
||
|
||
## 故障排查
|
||
|
||
### 1. 浏览器启动失败
|
||
|
||
- 检查 `ChromePath` 是否正确
|
||
- 确认Chrome版本是否兼容
|
||
- 查看日志文件了解详细错误
|
||
|
||
### 2. 找不到输入框或发送按钮
|
||
|
||
- 页面结构可能已更新
|
||
- 打开浏览器（Headless: false）查看实际DOM结构
|
||
- 更新对应的选择器
|
||
|
||
### 3. 登录状态失效
|
||
|
||
- 删除对应的Cookie文件
|
||
- 重新调用 `WaitLogin()` 登录
|
||
- 检查账号是否正常
|
||
|
||
### 4. 获取不到答案
|
||
|
||
- 增加超时时间
|
||
- 检查网络连接
|
||
- 查看页面是否有验证码或其他拦截
|
||
|
||
## 技术栈
|
||
|
||
- **go-rod**: Chrome DevTools Protocol的Go语言封装
|
||
- **Chrome/Chromium**: 浏览器引擎
|
||
- **Context**: Go上下文管理
|
||
- **JSON**: Cookie序列化
|
||
|
||
## 许可证
|
||
|
||
与项目主许可证保持一致。
|
||
|
||
# Collect 模块 - 单浏览器多Page架构
|
||
|
||
## 架构说明
|
||
|
||
本模块采用**单浏览器多Page模式**，服务启动时创建一个全局浏览器实例，并为每个平台打开一个常驻 Page。
|
||
|
||
### 核心特性
|
||
|
||
1. **单一浏览器**：所有平台共用同一个浏览器实例
|
||
2. **启动时预创建**：服务启动时立即创建浏览器并打开所有平台的页面
|
||
3. **Page 常驻**：每个平台的 Page 在整个服务生命周期内保持活跃
|
||
4. **强制有头模式**：便于调试和人工干预（如扫码登录）
|
||
5. **统一管理**：Browser 和 Page 都由 Manager 统一管理和关闭
|
||
|
||
## 使用示例
|
||
|
||
### 基本用法
|
||
|
||
``go
|
||
package main
|
||
|
||
import (
|
||
"context"
|
||
"geo/internal/collect"
|
||
"geo/internal/config"
|
||
"github.com/gofiber/fiber/v2/log"
|
||
)
|
||
|
||
func main() {
|
||
cfg, _ := config.LoadConfig()
|
||
ctx := context.Background()
|
||
|
||
// 创建管理器（会自动：启动浏览器 + 打开所有平台页面）
|
||
manager := collect.NewCollectManager(ctx, cfg, log.DefaultLogger())
|
||
|
||
// ⚠️ 重要：确保程序退出时关闭所有资源
|
||
defer manager.Close()
|
||
|
||
// 每次调用都使用对应的常驻 Page
|
||
params := &collect.CollectParams{
|
||
RequestID: "req_001",
|
||
Platform: "wenxin",
|
||
KeyWords: []string{"AI", "人工智能"},
|
||
}
|
||
|
||
// 提问（使用 wenxin 的常驻 Page）
|
||
result, err := manager.AskQuestion("wenxin", params, "什么是人工智能？")
|
||
if err != nil {
|
||
log.Errorf("提问失败: %v", err)
|
||
return
|
||
}
|
||
|
||
log.Infof("答案长度: %d", len(result.Answer))
|
||
log.Infof("分享链接: %s", result.ShareLink)
|
||
|
||
// 可以切换到其他平台（使用对应的常驻 Page）
|
||
result2, _ := manager.AskQuestion("deepseek", params, "第二个问题")
|
||
}
|
||
```
|
||
|
||
### 登录测试示例
|
||
|
||
``go
|
||
func loginTest(manager *collect.CollectManager) {
|
||
params := &collect.CollectParams{
|
||
RequestID: "login_test_001",
|
||
Platform: "deepseek",
|
||
}
|
||
|
||
// 等待登录（使用 deepseek 的常驻 Page）
|
||
// 浏览器窗口已经打开，可以直接看到页面并进行扫码登录
|
||
success, msg := manager.WaitLogin("deepseek", params)
|
||
if !success {
|
||
log.Errorf("登录失败: %s", msg)
|
||
return
|
||
}
|
||
|
||
log.Infof("登录成功: %s", msg)
|
||
// Cookie 已自动保存，下次可以直接使用
|
||
}
|
||
```
|
||
|
||
### 并发操作示例
|
||
|
||
``go
|
||
func concurrentExample(manager *collect.CollectManager) {
|
||
// 可以安全地并发调用不同平台
|
||
go func() {
|
||
params := &collect.CollectParams{
|
||
RequestID: "req_001",
|
||
Platform: "wenxin",
|
||
}
|
||
result, _ := manager.AskQuestion("wenxin", params, "问题1")
|
||
log.Infof("文心一言回答: %s", result.Answer)
|
||
}()
|
||
|
||
go func() {
|
||
params := &collect.CollectParams{
|
||
RequestID: "req_002",
|
||
Platform: "deepseek",
|
||
}
|
||
result, _ := manager.AskQuestion("deepseek", params, "问题2")
|
||
log.Infof("DeepSeek回答: %s", result.Answer)
|
||
}()
|
||
}
|
||
```
|
||
|
||
## 架构细节
|
||
|
||
### 浏览器管理
|
||
|
||
- **数量**：全局只有一个浏览器实例
|
||
- **创建时机**：`NewCollectManager()` 调用时立即创建
|
||
- **存储方式**：`manager.browser` 字段
|
||
- **线程安全**：browser 只读访问，无竞态条件
|
||
- **生命周期**：从服务启动到 `manager.Close()` 调用
|
||
- **关闭方式**：调用 `manager.Close()` 关闭浏览器和所有 Page
|
||
|
||
### Page 管理
|
||
|
||
- **数量**：每个平台一个 Page（共 4 个：wenxin, deepseek, doubao, qianwen）
|
||
- **创建时机**：`NewCollectManager()` 调用时为所有平台打开页面
|
||
- **存储方式**：`map[string]*rod.Page`，key 为平台名称
|
||
- **线程安全**：使用 `sync.RWMutex` 保护并发访问
|
||
- **生命周期**：从服务启动到 `manager.Close()` 调用
|
||
- **特点**：Page 常驻，不会在操作后关闭
|
||
|
||
### 数据流
|
||
|
||
```
|
||
服务启动
|
||
↓
|
||
NewCollectManager()
|
||
↓
|
||
创建全局浏览器（1个）
|
||
↓
|
||
为每个平台打开 Page（4个）
|
||
├─ wenxin Page → https://yiyan.baidu.com/
|
||
├─ deepseek Page → https://chat.deepseek.com/
|
||
├─ doubao Page → https://www.doubao.com/chat/
|
||
└─ qianwen Page → https://tongyi.aliyun.com/qianwen/
|
||
↓
|
||
所有 Page 保持活跃（可看到浏览器窗口）
|
||
|
||
每次请求:
|
||
↓
|
||
AskQuestion(platform, ...)
|
||
↓
|
||
获取对应平台的常驻 Page
|
||
↓
|
||
执行操作（输入、点击等）
|
||
↓
|
||
返回结果（Page 保持活跃，不关闭）
|
||
|
||
服务关闭:
|
||
↓
|
||
manager.Close()
|
||
↓
|
||
关闭所有 Page
|
||
↓
|
||
关闭浏览器
|
||
```
|
||
|
||
### 数据存储
|
||
|
||
```
|
||
ChromeDataDir/
|
||
└── global/
|
||
└── main/ # 全局浏览器用户数据（所有平台共用）
|
||
|
||
CookiesDir/
|
||
├── wenxin/
|
||
│ └── wenxin.json # Cookie 文件（按平台隔离）
|
||
├── deepseek/
|
||
│ └── deepseek.json
|
||
└── doubao/
|
||
└── doubao.json
|
||
```
|
||
|
||
## 关键优势
|
||
|
||
### 1. 资源占用最小化
|
||
- ✅ 只启动一个浏览器进程
|
||
- ✅ 内存占用最低
|
||
- ✅ 系统资源消耗最少
|
||
|
||
### 2. 启动速度快
|
||
- ✅ 浏览器在服务启动时已就绪
|
||
- ✅ 所有平台页面已打开
|
||
- ✅ 无需等待页面加载
|
||
|
||
### 3. 调试友好
|
||
- ✅ 有头模式，可实时观察所有平台
|
||
- ✅ 支持人工干预（扫码、验证码等）
|
||
- ✅ 便于问题排查
|
||
|
||
### 4. 会话保持
|
||
- ✅ Page 常驻，登录状态持续有效
|
||
- ✅ Cookie 自动保存和加载
|
||
- ✅ 无需重复登录
|
||
|
||
## 注意事项
|
||
|
||
### ⚠️ 必须调用 Close()
|
||
|
||
``go
|
||
manager := collect.NewCollectManager(ctx, cfg, logger)
|
||
defer manager.Close() // 确保程序退出时关闭所有资源
|
||
```
|
||
|
||
如果不调用 `Close()`，浏览器进程会残留。
|
||
|
||
### ⚠️ 有头模式限制
|
||
|
||
- 所有浏览器都以有头模式运行
|
||
- 无法切换到无头模式
|
||
- 适合开发和调试环境
|
||
|
||
### ⚠️ 并发访问注意
|
||
|
||
虽然使用了 `sync.RWMutex` 保护 pages map，但 rod 的 Page 本身不是线程安全的。建议：
|
||
- 同一平台的请求串行执行
|
||
- 不同平台可以并发执行
|
||
- 避免在同一 Page 上同时执行多个操作
|
||
|
||
### ⚠️ Cookie 隔离
|
||
|
||
虽然浏览器是共用的，但 Cookie 文件按平台隔离存储，确保各平台的会话独立。
|
||
|
||
## 迁移指南
|
||
|
||
### 变化点
|
||
|
||
1. ✅ `NewCollectManager()` 会立即启动浏览器并打开所有平台页面
|
||
2. ✅ Page 是常驻的，不会在操作后关闭
|
||
3. ✅ `Collector.Close()` 不再关闭 Page（空实现）
|
||
4. ✅ `Headless` 参数被忽略，强制为 `false`
|
||
|
||
### 无需修改
|
||
|
||
- ❌ Manager 的创建方式不变
|
||
- ❌ 业务代码调用方式不变
|
||
- ❌ Collector 的业务逻辑无需修改
|
||
|
||
## 性能对比
|
||
|
||
| 指标 | 旧架构 | 新架构 |
|
||
|------|--------|--------|
|
||
| 浏览器进程数 | 4个（每平台1个） | 1个（全局共用） |
|
||
| 首次启动 | ~10秒 | ~5秒 |
|
||
| 后续请求 | ~0.1秒 | ~0.1秒 |
|
||
| 内存占用 | 高 | 低 |
|
||
| 并发能力 | 中 | 中（需注意Page线程安全） |
|
||
| 资源泄漏风险 | 低 | 低 |
|
||
|
||
## 最佳实践
|
||
|
||
1. **服务启动时初始化**
|
||
```go
|
||
func initService() {
|
||
manager = collect.NewCollectManager(ctx, cfg, logger)
|
||
}
|
||
```
|
||
|
||
2. **服务关闭时清理**
|
||
```go
|
||
func shutdownService() {
|
||
manager.Close()
|
||
}
|
||
```
|
||
|
||
3. **异常处理**
|
||
```go
|
||
result, err := manager.AskQuestion(platform, params, question)
|
||
if err != nil {
|
||
log.Errorf("操作失败: %v", err)
|
||
// Page 仍然可用，可以继续尝试
|
||
}
|
||
```
|
||
|
||
4. **监控建议**
|
||
- 监控浏览器进程数量（应该只有1个）
|
||
- 监控内存使用情况
|
||
- 记录每次操作的耗时
|
||
- 监控各平台 Page 的健康状态
|
||
|
||
## 架构图
|
||
|
||
```
|
||
┌─────────────────────────────────────┐
|
||
│ CollectManager │
|
||
│ │
|
||
│ ┌───────────────────────────────┐ │
|
||
│ │ Global Browser (1个) │ │
|
||
│ │ Headless: false │ │
|
||
│ │ Window: 1920x1080 │ │
|
||
│ └───────────────────────────────┘ │
|
||
│ │ │
|
||
│ ├──────────────────┐ │
|
||
│ │ │ │
|
||
│ ┌───────▼───────┐ ┌──────▼──┐│
|
||
│ │ Wenxin Page │ │Deepseek ││
|
||
│ │ (常驻) │ │Page ││
|
||
│ └───────────────┘ └─────────┘│
|
||
│ │ │ │
|
||
│ ┌───────▼───────┐ ┌──────▼──┐│
|
||
│ │ Doubao Page │ │Qianwen ││
|
||
│ │ (常驻) │ │Page ││
|
||
│ └───────────────┘ └─────────┘│
|
||
└─────────────────────────────────────┘
|
||
```
|
||
|