模型与能力

SpeedyRPM 聚合多个模型与渠道。模型可用性、协议和参数能力可能随账户与上游状态变化。

选择模型的流程

1. 用目标 API Key 调用 /v1/models。
2. 根据任务选择候选模型 ID。
3. 用最小请求验证目标协议。
4. 再逐步加入流式输出、工具调用等可选能力。
5. 在上线前验证限额、延迟、输出质量和失败回退。

不要依赖静态模型清单

静态文档很容易过期。应用应该把模型 ID 作为部署配置；管理界面可按需读取 /v1/models，但生产流量不必在每次请求前重新获取列表。

能力并非完全一致

同一 API 端点下，不同模型可能对以下能力有不同支持：

• 上下文和最大输出长度
• 流式响应
• 工具调用与结构化输出
• 图片等多模态输入
• 采样与推理参数

遇到参数不兼容时，先回到只含必填字段的最小请求，再逐项增加参数。

回退策略

关键业务可以准备备用模型，但不建议在未知错误时盲目切换。先区分认证、配额、限流、上游不可用和参数错误，再决定重试或回退。