推理运行时
推理运行时
模型调用是一种宿主设施,即 AI 端口。租户代码从不持有提供商密钥或提供商 id:它只指定一个系统与一个模型类别,由宿主进行映射。
两个系统与嵌入
sys_2——语言模型:按声明的模型类别用于ctx.ai.sys_2.infer与 Agent 循环sys_1——快速的结构化决策模型:消息分流、视图弹出层中的 AI 筛选,以及ctx.ai.sys_1.decideembed——嵌入,用于ctx.ai.embed与语义搜索
宿主绑定 AI 设施时,两个系统都是必需的;宿主映射了嵌入模型时才提供嵌入。一个系统从不回退到另一个系统。
文件
每个 sys_2 模型与嵌入模型都是多模态的,在宿主激活设施时加以验证。调用前,引擎检查调用方是否有权读取每个文件,读取其字节并交给宿主适配器,适配器只负责为提供商编码。sys_1 只接受文本:在其状态中放入文件是类型错误。
调用与限制
每次模型请求的空闲期限为 20 秒,流式进度会刷新期限;期限内没有进度则以 Timeout 失败。多步推理保留独立的整次调用上限。sys_1.decide 是一次最多 3 秒的调用。
日志与计量
sys_2.infer 与 sys_1.decide 按内容哈希记入日志,因此重放的步骤会返回已记录的答案,不会再次调用或计费。每次调用的费用都会被计量。
错误
失败都是带类型的:Upstream、Timeout、RateLimited、Invalid、TooLarge、Unsupported 与 Unavailable。提供商对其无法处理的输入的拒绝,会以其对应的错误原样传递。