产品 / Route Engine

让不同难度的任务,使用合适的模型。

在企业允许的模型范围内,结合任务需求、质量门槛和运行状态选择路径,让模型能力与业务要求相匹配。

为企业而设计
01

匹配任务

简单提取与分类使用轻量模型,复杂推理使用高能力模型。

02

遵循约束

数据范围、允许模型、质量和预算共同限制选择。

03

连续运行

在允许的范围内处理超时、限流与资源异常。

01 / 按任务难度选择模型

把任务要求,转化为可执行的模型选择规则。

任务根据简单或复杂程度进入不同模型路径。
概念示意
02 / 服务连续性

面对异常,执行有边界的回退策略。

将模型接口差异、错误类型和请求状态纳入回退判断,减少异常对业务的影响。

限流与容量

在允许资源中分配负载,达到限额时依策略等待、切换或返回明确错误。

超时与重试

设置超时与重试上限,避免无限重试放大费用与负载。

跨模型回退

检查输出格式、上下文、工具调用等兼容性;不能仅因接口可用就替换。

已开始执行的任务

流式输出或工具动作已产生时,需要明确恢复与重复执行风险,避免宣传为无感切换。

03 / 策略示例

从任务输入到效果反馈,看清一次路由决策。

用三个静态场景说明企业如何配置策略;示例仅展示决策方式,不代表已部署客户案例。

简单信息提取

订单字段提取 → 规则归为简单任务 → 轻量模型候选 → 校验字段完整性。

复杂合同分析

多文件交叉分析 → 复杂任务 → 高能力模型候选 → 依据核对与人工复核。

敏感资料处理

敏感内容限制 → 仅允许企业私有模型 → 再按难度选择 → 不满足能力要求时转人工或返回限制说明。

不确定与升级

难度判断不确定或结果未达门槛时,按批准策略升级模型或请求人工介入。

04 / 质量与效果反馈

根据资源表现和任务结果调整策略。

资源检测说明模型服务表现,任务评估说明是否完成工作;两种证据共同支持改进。

  1. Route Trust

    可用性、能力和版本差异用于更新资源准入与候选范围。

  2. Agent Eval

    任务质量、成功率和成本帮助调整任务与模型映射。

  3. 策略发布

    记录版本,在测试或灰度范围验证,再逐步扩大。

  4. 异常回退

    发现质量下降或不兼容时回滚,并保留变更原因。

05 / 运行视图与行动区

让每一次模型选择都有可解释的记录。

围绕调用路径、触发规则与运行结果排查问题,并与团队确定适合现有业务的路由方案。

记录字段

请求标识、任务类型/难度、匹配规则、所选模型、回退原因和状态。

运行指标

延迟、错误、消耗与回退记录;业务结果有数据时才关联。

交流准备

带上模型列表、任务类别、时延与质量要求,以及需要保留的调用协议。

预约路由方案评估