第八章:换一个模型,会改变什么
同一套简报流程,更换模型后,可能出现更好的判断,也可能出现工具参数不合规、回答中断或费用变化。运行程序相同,并不意味着任务行为完全相同。
前几章研究了 Agent 的机制。本章把它和底层模型、访问协议分开,理解一次模型切换需要核对什么。
8.1 分清三层变化
模型能力决定理解、判断、生成和工具选择的表现;模型提供方(Provider)决定访问方式、认证、接口与限制;运行程序负责准备上下文、执行行动和组织恢复。
同一个模型可能通过不同提供方访问;同一提供方也能提供不同模型。把提供方名字当模型名,或者把接口兼容当成能力相同,都会误判问题。
8.2 兼容接口仍然存在细节差异
工具调用格式、流式返回、上下文容量、推理字段和错误类型,都可能随服务变化。Hermes 的运行时解析会处理提供方、认证、API 模式与模型选择,并为不同调用路径复用相关逻辑。
这项适配减少上层重复工作,但不能消除服务差异。例如,一个请求能发出去,只证明基础连通;还需要检查模型能否正确选择工具、程序能否完整解析回复,以及工具结果能否继续进入后续请求。
8.3 看整项任务的成本
下面是教学示意,不代表任何真实模型的价格或排名:
| 现象 | 只看单次请求会怎样 | 还需要计入什么 |
|---|---|---|
| 单次生成很便宜,但频繁选错工具 | 误以为总成本低 | 多轮重试、返工与人工核实 |
| 模型判断较好,但输入了大量重复材料 | 忽略上下文组织问题 | 输入体积、压缩与缓存条件 |
| 主任务很短,但委托了许多子任务 | 只计算父任务 | 子任务输入、输出和等待成本 |
成本还包括时间与不确定性。一次稍贵但正确结束的请求,可能比反复重试更合适;也可能任务非常确定,简单模型或固定工作流已经足够。需要在同一任务条件下实测,不能从型号推断固定结论。
8.4 后备模型是恢复路径,不是无缝保证
Hermes 支持提供方或模型相关的后备路径。发生服务错误或其他受支持的失败时,系统可以尝试恢复。但新模型的能力、预算和上下文条件仍可能不同,任务不能因此跳过核实。
对于简报,切换后仍要确认目标版本、来源与未完成项完整保留。若只是得到一段文字,不代表此前尚未执行的查证已经自动补齐。
不写代码的小练习
列出你准备比较的两个模型配置,先写相同任务和交付标准,再列需要记录的总调用、输入体积、失败、耗时与人工核实项。在没有实测数据前,只写待验证假设。
本章要点
- 模型能力、提供方访问和 Agent 运行机制是不同层次。
- 接口兼容减少接入差异,不保证工具选择、限制或结果相同。
- 评估成本应覆盖完整任务,包括重试、上下文、委托和人工核实。
- 后备路径提高恢复机会,不能替代结果验证。
理解题
1. 更换模型后首次对话成功,能否宣布迁移完成?
不能。至少还需覆盖多轮工具调用、流式或长回复、错误恢复与实际交付要求。一次成功说明某条路径可用,不代表任务所需的全部行为都兼容。
2. 同一个任务,一次模型请求更便宜,整体却更贵,可能为什么?
它可能需要更多轮才能取得正确结果,传递了更多材料,调用了更多工具或子任务,也可能增加人工返工。应记录完整任务过程,再讨论成本原因。
对照官方实现
模型之外,还有另一组经常混淆的名字:入口、会话、Profile 与 Bot。