ai-courseware/课件资料/4.实战落地-架构传输与成本.md

30 lines
1.4 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 实战落地:架构、传输与成本评估
## 案例流程(订单诊断)
- 节点:订单查询 → 支付网关 → 风控规则 → 异常解释
- 分支:失败回退、重试策略、人工接管入口
## Python 原型要点
- LangChain/LangGraph 搭建工作流
- LangSmith 指标与问题定位
## Go 生产要点
- 框架Eino / LangChainGoHTTP 层Gin/Hertz
- 目录结构:`cmd/`、`internal/agent`、`internal/workflow`、`internal/tools`、`internal/observability`、`pkg/`、`api/`
- 工程要点:幂等、错误码、超时/熔断、重试与任务重放
## 传输与体验
- SSE浏览器友好、单向推送、实现简单
- WebSocket双向、低延迟、需心跳与状态管理
- HTTP Streaming保持 HTTP 语义,前端解析更复杂
- gRPC 流双向流、性能好、Web 需网关
- 降低等待焦虑:预热与缓存、渐进式输出、并行查询与最慢支路降级、心跳与重连
## 成本与度量
- 在线指标成功率、P95 延迟、令牌用量、调用成本、重试次数、人工接管率
- 监控盲点:上下文与工具调用的隐性令牌、未分场景/版本统计
- 阶段化私有化:先供应商 + 完整监控 → 达阈值再自建
## 一句话总结
用融合方案跑通端到端,并以指标闭环驱动体验与成本优化。
## 一句话引出
最后收束到“课程总结与资源”,附行动清单与评测模板。