Ollama MCP

Overview

Ollama MCP 是一个模型上下文协议服务器，允许 AI 代理与本地运行的 Ollama 大语言模型进行交互。通过此 MCP 服务器，AI 可以列出可用模型、生成文本、聊天对话、执行嵌入操作和管理模型。这对于本地 AI 应用、隐私敏感场景和离线使用场景非常有用。

Ollama MCP 使得 AI 代理能够使用本地运行的开源模型，无需依赖云端 API，提供完全的数据隐私和零延迟。它特别适合本地开发、隐私敏感应用和离线场景。

Features

• 模型管理：列出、拉取、删除模型
• 文本生成：生成文本完成
• 聊天对话：多轮对话支持
• 嵌入生成：生成文本向量嵌入
• 模型信息：获取模型详情和参数
• 本地运行：完全本地，无需网络

Installation

# 首先安装 Ollama
# macOS/Linux: curl -fsSL https://ollama.com/install.sh | sh
# Windows: 从 https://ollama.com 下载安装程序

# 拉取模型
ollama pull llama3
ollama pull mistral
ollama pull deepseek-coder

# 使用 npx 运行 MCP 服务器
npx -y @modelcontextprotocol/server-ollama

# 或使用 uvx
uvx mcp-server-ollama

Configuration

添加以下配置到 claude_desktop_config.json：

{
  "mcpServers": {
    "ollama": {
      "command": "npx",
      "args": ["-y", "@modelcontextprotocol/server-ollama"],
      "env": {
        "OLLAMA_HOST": "http://localhost:11434"
      }
    }
  }
}

Available Tools

Tool	Description
ollama_list_models	列出所有已安装模型
ollama_pull_model	拉取新模型
ollama_delete_model	删除模型
ollama_generate	生成文本
ollama_chat	聊天对话
ollama_embed	生成嵌入向量
ollama_show	获取模型详情

Usage Examples

示例 1：本地模型对话

AI: 使用 llama3 模型回答这个问题

Ollama MCP:
- 调用 ollama_chat
- 设置 model: "llama3"
- 发送消息并返回响应

示例 2：文本生成

AI: 使用 mistral 模型写一首关于 AI 的短诗

Ollama MCP:
- 调用 ollama_generate
- 设置 model: "mistral"
- 设置 prompt
- 返回生成的诗歌

示例 3：嵌入生成

AI: 为以下文本生成嵌入向量

Ollama MCP:
- 调用 ollama_embed
- 设置 model: "nomic-embed-text"
- 返回向量数组

Popular Models

模型	用途	大小
llama3	通用对话	8B / 70B
mistral	通用任务	7B
mixtral	混合专家	8x7B
deepseek-coder	代码生成	6.7B / 33B
nomic-embed-text	文本嵌入	137M
phi3	轻量级	3.8B

Pros

• ✅ 完全本地运行，数据隐私
• ✅ 支持多种开源模型
• ✅ 零延迟，无需网络
• ✅ 开源免费
• ✅ 活跃的社区和频繁更新

Cons

• ❌ 需要本地 GPU 资源
• ❌ 模型大小影响性能
• ❌ 需要一定的硬件要求
• ❌ 模型质量不如顶级闭源模型

When to Use

• 需要本地 AI 运行时
• 关注数据隐私时
• 需要离线使用时
• 想要节省 API 成本时
• 想要测试开源模型时

Resources

• GitHub 仓库
• Ollama 官网
• 模型库