跳到主要内容

推理运行时

推理运行时

模型调用是一种宿主设施,即 AI 端口。租户代码从不持有提供商密钥或提供商 id:它只指定一个系统与一个模型类别,由宿主进行映射。

两个系统与嵌入

  • sys_2——语言模型:按声明的模型类别用于 ctx.ai.sys_2.infer 与 Agent 循环
  • sys_1——快速的结构化决策模型:消息分流、视图弹出层中的 AI 筛选,以及 ctx.ai.sys_1.decide
  • embed——嵌入,用于 ctx.ai.embed 与语义搜索

宿主绑定 AI 设施时,两个系统都是必需的;宿主映射了嵌入模型时才提供嵌入。一个系统从不回退到另一个系统。

文件

每个 sys_2 模型与嵌入模型都是多模态的,在宿主激活设施时加以验证。调用前,引擎检查调用方是否有权读取每个文件,读取其字节并交给宿主适配器,适配器只负责为提供商编码。sys_1 只接受文本:在其状态中放入文件是类型错误。

调用与限制

每次模型请求的空闲期限为 20 秒,流式进度会刷新期限;期限内没有进度则以 Timeout 失败。多步推理保留独立的整次调用上限。sys_1.decide 是一次最多 3 秒的调用。

日志与计量

sys_2.infer 与 sys_1.decide 按内容哈希记入日志,因此重放的步骤会返回已记录的答案,不会再次调用或计费。每次调用的费用都会被计量。

错误

失败都是带类型的:Upstream、Timeout、RateLimited、Invalid、TooLarge、Unsupported 与 Unavailable。提供商对其无法处理的输入的拒绝,会以其对应的错误原样传递。