Skip to content

第八章:换一个模型,会改变什么 ​

同一套简报流程,更换模型后,可能出现更好的判断,也可能出现工具参数不合规、回答中断或费用变化。运行程序相同,并不意味着任务行为完全相同。

前几章研究了 Agent 的机制。本章把它和底层模型、访问协议分开,理解一次模型切换需要核对什么。

8.1 分清三层变化 ​

模型能力决定理解、判断、生成和工具选择的表现;模型提供方(Provider)决定访问方式、认证、接口与限制;运行程序负责准备上下文、执行行动和组织恢复。

同一个模型可能通过不同提供方访问;同一提供方也能提供不同模型。把提供方名字当模型名,或者把接口兼容当成能力相同,都会误判问题。

图 8-1 三层责任示意。模型名称相近或 API 形式相同,都不足以推导运行行为相同。 点击图解可放大
左右滑动查看图解细节
模型能力、访问适配和运行程序共同影响任务

图 8-1 三层责任示意。模型名称相近或 API 形式相同,都不足以推导运行行为相同。

8.2 兼容接口仍然存在细节差异 ​

工具调用格式、流式返回、上下文容量、推理字段和错误类型,都可能随服务变化。Hermes 的运行时解析会处理提供方、认证、API 模式与模型选择,并为不同调用路径复用相关逻辑。

这项适配减少上层重复工作,但不能消除服务差异。例如,一个请求能发出去,只证明基础连通;还需要检查模型能否正确选择工具、程序能否完整解析回复,以及工具结果能否继续进入后续请求。

8.3 看整项任务的成本 ​

下面是教学示意,不代表任何真实模型的价格或排名:

现象只看单次请求会怎样还需要计入什么
单次生成很便宜,但频繁选错工具误以为总成本低多轮重试、返工与人工核实
模型判断较好,但输入了大量重复材料忽略上下文组织问题输入体积、压缩与缓存条件
主任务很短,但委托了许多子任务只计算父任务子任务输入、输出和等待成本

成本还包括时间与不确定性。一次稍贵但正确结束的请求,可能比反复重试更合适;也可能任务非常确定,简单模型或固定工作流已经足够。需要在同一任务条件下实测,不能从型号推断固定结论。

8.4 后备模型是恢复路径,不是无缝保证 ​

Hermes 支持提供方或模型相关的后备路径。发生服务错误或其他受支持的失败时,系统可以尝试恢复。但新模型的能力、预算和上下文条件仍可能不同,任务不能因此跳过核实。

对于简报,切换后仍要确认目标版本、来源与未完成项完整保留。若只是得到一段文字,不代表此前尚未执行的查证已经自动补齐。

图 8-2 换模型之后,执行、反馈与核实的分工仍然存在。 点击图解可放大
左右滑动查看图解细节
模型切换不会取消运行程序和工具的检查责任

图 8-2 换模型之后,执行、反馈与核实的分工仍然存在。

不写代码的小练习 ​

列出你准备比较的两个模型配置,先写相同任务和交付标准,再列需要记录的总调用、输入体积、失败、耗时与人工核实项。在没有实测数据前,只写待验证假设。

本章要点 ​

  • 模型能力、提供方访问和 Agent 运行机制是不同层次。
  • 接口兼容减少接入差异,不保证工具选择、限制或结果相同。
  • 评估成本应覆盖完整任务,包括重试、上下文、委托和人工核实。
  • 后备路径提高恢复机会,不能替代结果验证。

理解题 ​

1. 更换模型后首次对话成功,能否宣布迁移完成?

不能。至少还需覆盖多轮工具调用、流式或长回复、错误恢复与实际交付要求。一次成功说明某条路径可用,不代表任务所需的全部行为都兼容。

2. 同一个任务,一次模型请求更便宜,整体却更贵,可能为什么?

它可能需要更多轮才能取得正确结果,传递了更多材料,调用了更多工具或子任务,也可能增加人工返工。应记录完整任务过程,再讨论成本原因。

对照官方实现 ​

模型之外,还有另一组经常混淆的名字:入口、会话、Profile 与 Bot。

社区学习手册 · 正文与原创图解 CC BY-SA 4.0 · 代码 MIT