性能调优
通过模型选择、缓存策略、数据库优化与工作流运行时调优降低延迟和成本
通过系统性调优,在不牺牲响应质量的前提下降低延迟与运行成本。
模型选择
在已授权给团队的模型中按需选择,不要假设固定的速度或质量排名。针对代表性提示词测量延迟、回答质量、上下文容量和成本,再决定生产配置。
缓存策略
- 只对具有明确失效策略的数据进行缓存
- JWT 是主要的会话机制;Redis 支持令牌黑名单、可选的单会话状态,以及 Celery 代理、限速和临时缓存
- 不要添加全局 LLM 响应缓存,除非提示词、模型、团队权限、工具和新鲜度要求使得复用是安全的
数据库优化
- 为频繁过滤和连接的字段添加索引
- 根据部署规模配置适当的连接池
- 在修改架构或缓存设置前先测量查询计划和检索延迟
工作流运行时
- 为所有循环设置上限。编辑器默认循环 10 次,执行器最多循环 1000 次
- 对数组/批处理使用迭代节点,使终止条件明确可验证
关键限制
| 参数 | 值 | 说明 |
|---|---|---|
| 编辑器默认循环次数 | 10 | 可视化编辑器中的默认迭代上限 |
| 执行器最大循环次数 | 1000 | 运行时硬上限,超过后强制终止 |
这篇文章对你有帮助吗?