跳到主要内容

AI 配置

接入的大模型 provider、推理强度、故障转移顺序、知识库向量模型,发送给模型前的字段脱敏,以及失败用例。所有版本可用,多模型故障转移需要企业版。

AI 配置是 设置 页的一个标签,管理网关调用的大模型,只有管理员可以查看和修改。每个 provider 是一个 OpenAI 兼容端点或 Azure OpenAI 部署,模型由客户自己提供,网关不限制调用次数。

provider 列表保存在网关的 llm_providers.yml(RST_LLM_CONFIG)中。没有该文件时,网关使用 .env 中的 LLM_API_KEY、LLM_BASE_URL、LLM_MODEL 作为唯一的 provider。

AI 配置

添加或替换 provider

前提条件

  • 管理员角色。

步骤

  1. 在 模型路由 中选择 新增 provider。
  2. 选择 展开设置,选择 类型,填写 模型、Base URL 和 API key,按需设置 标签、超时(秒) 和 推理强度。
  3. 确认该 provider 的启用开关已打开(新增时默认打开)。
  4. 替换时,选择旧 provider 的 移除。
  5. 选择 保存并重载。

列表为空时保存会让所有模型调用失败,所以替换时先添加新的,再移除旧的,最后保存。

字段说明
类型openai(含兼容网关) 适用于火山方舟、DeepSeek、通义、Ollama、vLLM 等。Azure 需要填写 API 版本 和 部署名(不是模型名)
模型例如 ark-code-latest,自建 endpoint 填 endpoint id
API key粘贴新 key。已保存过时留空保留现有 key,界面显示尾 4 位
标签例如 primary,cloud,只用于标记
超时(秒)单次调用上限,新增时默认 30。故障调查、告警收敛在思考模型上单次可能要几分钟,慢模型需要调大。推理强度为高的调用至少等待 RST_LLM_THINKING_TIMEOUT_S(默认 600)秒
推理强度见下文

设置推理强度

思考模型(豆包、GPT-5、Claude、Qwen3 等)先推理再作答,每次多耗时几十秒。推理强度 按 provider 设置:

档位行为
自动(推荐)按任务决定。起标题、生成追问角度这类任务不推理,故障调查这类任务才推理
关所有任务都不推理。模型太慢时使用
低、高所有任务都使用该档位。只要结果最准时选高

网关按 Base URL 和模型名识别供应商,把档位换算为该供应商的参数。带推理参数的请求被拒绝(HTTP 400)时,去掉参数重试一次。

故障转移

故障转移链 按 模型路由 中的列表顺序列出启用的 provider。新增的 provider 排在列表末尾。

  • 企业版(包括试用):一次调用失败后,同一请求依次改用下一个 provider。
  • 社区版和专业版:只使用第一个启用的 provider,它出错时不切换,其余 provider 显示 待命 · 不切换。

查看模型运行状态

指标含义
模型可用率启用中的 provider 有几个正常。计数随网关重启清零
故障转移链路当前可以依次切换的 provider 数
调用量(24 小时)按审计记录统计的调用次数、失败次数和 p95 耗时。审计未开启时无此项
累计失败网关启动以来的累计失败、是否有 provider 正在连续失败、最近一次失败

故障转移链与调用活动 显示当前在用的 provider、每个 provider 的上次成功时间和连续失败次数,以及过去 24 小时的调用曲线。

配置知识库向量模型

知识库向量模型(Embedding) 用于知识库的向量化和检索。填写 模型 ID,端点和 key 留空时复用聊天模型的。选择 测试连接 后 向量维度 自动回填,打开 启用 并保存。测试通过前不能保存。

字段脱敏

网关在把数据发送给模型之前按脱敏档位处理,推送到飞书、邮件等外部渠道的内容也按同一档位处理。档位在设置的 字段脱敏模式 中选择,三个档位在所有版本中都可用。

档位发送前的处理适用场景
云端(cloud)IP 保留前三段,例如 10.30.12.x。账号保留首尾字符,邮箱遮盖用户名部分。密钥、令牌、Cookie、证件号等替换为 [REDACTED]。自由文本中的 IP 和手机号同样处理模型在公有云
私有(private)IP 保留前两段,例如 10.30.x.x。账号和邮箱部分遮盖。密钥和令牌仍然替换模型部署在自有机房
离线(airgapped)不做替换本地模型,数据不出内网

页面没有设置时,档位取 .env 中的 RST_MASKING_MODE,默认为云端。

查看失败用例

反馈 标签列出用户在对话中标记为不对的查询,包括问题、生成的 API 调用、用户建议的 API 调用和备注。可以按条件筛选、删除,或选择 导出 JSON 作为调整提示词时的回归评测集。

本页内容