跳到主要内容

AI 配置

配置大模型 provider、故障转移顺序和推理强度,配置知识库的向量模型,查看各 provider 的健康状态和 24 小时调用量。

AI 配置 位于 系统设置 分组,仅管理员可见。

AI 配置

模型运行概览

概览

卡片内容
模型可用率启用中的 provider 有几个正常,故障转移链有几级
调用量(24 小时)按审计索引统计的调用次数、失败次数和 p95 耗时。审计未开启时不显示数据
累计失败网关启动以来的累计失败次数、是否有 provider 正在连续失败、最近一次失败。计数随网关重启清零

故障转移链与调用活动

故障转移链

故障转移链按 模型路由 中的顺序列出 provider,并标出当前在用的 provider、上次成功时间和连续失败次数。一个 provider 连续失败时,网关自动切换到下一个。每个答案都记录由哪个模型生成。右侧是过去 24 小时的调用曲线。

模型故障转移属于企业版功能。已激活的许可不含该功能时,网关只使用第一个启用的 provider。

模型路由

模型路由

每个 provider 一张卡片,列表顺序即故障转移顺序,新增的 provider 排在末尾。展开卡片后设置以下字段。

字段说明
类型openai 用于所有 OpenAI 兼容端点,包括火山方舟、DeepSeek、通义、Ollama、vLLM。azure 需要填写 API 版本 和 部署名(不是模型名)
模型火山方舟 coding 计划填 ark-code-latest,自建 endpoint 填 endpoint id
Base URL模型端点地址
API Key留空表示保留现有 key,界面显示现有 key 的尾 4 位
标签例如 primary,cloud,只用于标记
超时(秒)单次调用的时间上限。界面新增时预填 30。配置中未设置时默认 180
推理强度见下节

替换 provider

保存空列表会让所有 LLM 调用失败,因此先添加新的 provider,再删除旧的。

步骤

  1. 选择 新增 provider,填写并启用新的 provider。
  2. 在旧 provider 的卡片上,选择 移除。
  3. 选择 保存并重载。

推理强度

思考模型(豆包、GPT-5、Claude、Qwen3、Gemini 2.5 等)默认先推理再作答,每次调用多耗时 30 到 90 秒。推理强度 让网关按任务决定是否推理。

档位行为
自动(推荐)起标题、生成角度、选索引不推理。自然语言转 DSL 低推理。告警调查、分诊、检测规则高推理
关所有任务都不推理
低、高所有任务使用同一档

网关按 Base URL 和模型名识别供应商,把档位翻译为各家的参数:Ark thinking、OpenAI reasoning_effort、Qwen enable_thinking、Claude thinking,以及 Gemini 和 OpenRouter 的对应参数。无法识别的模型不发送该参数。带参数的请求返回 400 时,网关去掉参数重试。

OpenAI o 系列和 GPT-5 选择 高 时发送 reasoning_effort=high,计费高于默认。

知识库向量模型

Embedding

处置手册 需要一个 Embedding 模型才能启用。

步骤

  1. 在 知识库向量模型(Embedding) 中,输入 模型 ID,例如 doubao-embedding、text-embedding-3-small 或本地 Ollama 的 bge-m3。
  2. (可选)填写 Base URL 和 API Key。留空时复用聊天模型的端点和 key。
  3. 选择 测试连接。通过后 向量维度 自动填入。
  4. 选择 保存。

保存后知识库启用。现有知识库索引的维度与新模型不一致时,服务端拒绝保存,需要先重建索引。

离线环境使用本地 Ollama 加 bge-m3,端点为 http://<ollama 主机>:11434/v1。bge-m3 为 1024 维,在 CPU 上单次查询约 50 ms。

配置存储位置

配置保存在状态卷的 /app/state/llm_providers.yml 中,API key 加密存储。该文件不存在时,网关使用 .env 中的 LLM_* 变量。在界面保存后以该文件为准。

文件只有 embedding: 段、没有 providers: 段时(只在界面保存过向量模型),网关同样使用 LLM_* 变量作为聊天模型。显式写成 providers: [] 表示不配置聊天模型。

本页内容