跳到主要内容

语言模型 (LLM)

本项目支持多种大语言模型后端与模型。

备注

几乎所有的大语言模型 API 和推理引擎都支持 OpenAI 格式，所以如果你发现你想用的那个 LLM API 在我们项目中没有明确的被支持，直接把相关信息 (base url, api key, 模型名称) 填到 openai_compatible_llm 里面，基本都能直接用。

如何配置和切换不同的大语言模型后端​

项目预设的智能体 (Agent) 是 basic_memory_agent，所以要切换预设 Agent 的语言模型，在 basic_memory_agent 的 llm_provider 选项下进行选择。

1. 配置大语言模型设置​

参考下方 支持的大语言模型后端 配置对应大语言模型后端的配置。

在 agent_config 下的 llm_config，可以配置后端与各个 LLM 的连接配置。

2. 在对应的 智能体(Agent) 的设置，切换到对应的大语言模型(LLM)​

有些 Agent 可能不支持自定义 LLM

前往 basic_memory_agent 设置下

basic_memory_agent:
    llm_provider: "openai_compatible_llm" # 使用的 LLM 方案
    faster_first_response: True

注意，llm_provider 中只能填写 llm_configs 下面存在的大语言模型后端，目前仅支持 openai_compatible_llm。

支持的大语言模型后端​

OpenAI 兼容的 API (openai_compatible_llm)​

与所有支持 OpenAI Chat Completion 格式的 API 端点兼容。这包括 LM Studio, vLLM, Ollama, OpenAI 官方 API, Gemini, 智谱, DeepSeek, Mistral, Groq 以及绝大部分的推理工具和 API 提供商。

默认配置（Kimi）​

项目默认使用 Moonshot AI 的 Kimi 模型。Kimi 是 Moonshot AI 开发的大语言模型，支持超长上下文窗口，具备强大的性能和高速输出能力。

默认配置示例：

# OpenAI 兼容推理后端（默认使用 Kimi）
openai_compatible_llm:
    base_url: "https://api.moonshot.cn/v1"  # Moonshot AI API 端点
    llm_api_key: "your-moonshot-api-key"    # 你的 Moonshot API 密钥
    model: "kimi-k2-turbo-preview"          # 使用的模型
    temperature: 1.0                        # 温度，介于 0 到 2 之间
获取 API 密钥
  1. 访问 Moonshot AI 平台
  2. 注册并登录账号
  3. 在控制台中创建 API 密钥
  4. 将 API 密钥填入 llm_api_key 字段

更多信息请参考 Moonshot AI 官方文档。

关于 kimi-k2-turbo-preview

kimi-k2-turbo-preview 是 Kimi K2 模型的高速版本，输出速度由每秒 10 个 token 提升至每秒 40 个 token，同时保持与原始 K2 模型相同的性能参数。