AI 配置
配置大模型 provider、故障转移顺序和推理强度,配置知识库的向量模型,查看各 provider 的健康状态和 24 小时调用量。
AI 配置 位于 系统设置 分组,仅管理员可见。

模型运行概览

| 卡片 | 内容 |
|---|---|
| 模型可用率 | 启用中的 provider 有几个正常,故障转移链有几级 |
| 调用量(24 小时) | 按审计索引统计的调用次数、失败次数和 p95 耗时。审计未开启时不显示数据 |
| 累计失败 | 网关启动以来的累计失败次数、是否有 provider 正在连续失败、最近一次失败。计数随网关重启清零 |
故障转移链与调用活动

故障转移链按 模型路由 中的顺序列出 provider,并标出当前在用的 provider、上次成功时间和连续失败次数。一个 provider 连续失败时,网关自动切换到下一个。每个答案都记录由哪个模型生成。右侧是过去 24 小时的调用曲线。
模型故障转移属于企业版功能。已激活的许可不含该功能时,网关只使用第一个启用的 provider。
模型路由

每个 provider 一张卡片,列表顺序即故障转移顺序,新增的 provider 排在末尾。展开卡片后设置以下字段。
| 字段 | 说明 |
|---|---|
| 类型 | openai 用于所有 OpenAI 兼容端点,包括火山方舟、DeepSeek、通义、Ollama、vLLM。azure 需要填写 API 版本 和 部署名(不是模型名) |
| 模型 | 火山方舟 coding 计划填 ark-code-latest,自建 endpoint 填 endpoint id |
| Base URL | 模型端点地址 |
| API Key | 留空表示保留现有 key,界面显示现有 key 的尾 4 位 |
| 标签 | 例如 primary,cloud,只用于标记 |
| 超时(秒) | 单次调用的时间上限。界面新增时预填 30。配置中未设置时默认 180 |
| 推理强度 | 见下节 |
替换 provider
保存空列表会让所有 LLM 调用失败,因此先添加新的 provider,再删除旧的。
步骤
- 选择 新增 provider,填写并启用新的 provider。
- 在旧 provider 的卡片上,选择 移除。
- 选择 保存并重载。
推理强度
思考模型(豆包、GPT-5、Claude、Qwen3、Gemini 2.5 等)默认先推理再作答,每次调用多耗时 30 到 90 秒。推理强度 让网关按任务决定是否推理。
| 档位 | 行为 |
|---|---|
| 自动(推荐) | 起标题、生成角度、选索引不推理。自然语言转 DSL 低推理。告警调查、分诊、检测规则高推理 |
| 关 | 所有任务都不推理 |
| 低、高 | 所有任务使用同一档 |
网关按 Base URL 和模型名识别供应商,把档位翻译为各家的参数:Ark thinking、OpenAI reasoning_effort、Qwen enable_thinking、Claude thinking,以及 Gemini 和 OpenRouter 的对应参数。无法识别的模型不发送该参数。带参数的请求返回 400 时,网关去掉参数重试。
OpenAI o 系列和 GPT-5 选择 高 时发送 reasoning_effort=high,计费高于默认。
知识库向量模型

处置手册 需要一个 Embedding 模型才能启用。
步骤
- 在 知识库向量模型(Embedding) 中,输入 模型 ID,例如
doubao-embedding、text-embedding-3-small或本地 Ollama 的bge-m3。 - (可选)填写 Base URL 和 API Key。留空时复用聊天模型的端点和 key。
- 选择 测试连接。通过后 向量维度 自动填入。
- 选择 保存。
保存后知识库启用。现有知识库索引的维度与新模型不一致时,服务端拒绝保存,需要先重建索引。
离线环境使用本地 Ollama 加 bge-m3,端点为 http://<ollama 主机>:11434/v1。bge-m3 为 1024 维,在 CPU 上单次查询约 50 ms。
配置存储位置
配置保存在状态卷的 /app/state/llm_providers.yml 中,API key 加密存储。该文件不存在时,网关使用 .env 中的 LLM_* 变量。在界面保存后以该文件为准。
文件只有 embedding: 段、没有 providers: 段时(只在界面保存过向量模型),网关同样使用 LLM_* 变量作为聊天模型。显式写成 providers: [] 表示不配置聊天模型。