Groq MCP

Overview

Groq MCP 是一个模型上下文协议服务器，允许 AI 代理与 Groq 高速推理 API 进行交互。Groq 使用独特的 LPU（Language Processing Unit）架构，提供业界最快的 LLM 推理速度。通过此 MCP 服务器，AI 可以访问 Groq 支持的多种开源模型，包括 Llama、Mixtral、Gemma 等。

Groq MCP 使得 AI 代理能够以极低延迟和低成本使用高质量开源模型，特别适合实时应用、流式响应和高吞吐场景。

Features

多模型支持：Llama 3、Mixtral、Gemma、Qwen 等
极速推理：LPU 架构提供最高推理速度
流式响应：支持 SSE 流式输出
函数调用：支持工具调用和结构化输出
低成本：相比其他 API 更具成本优势
免费层级：提供免费使用额度

Installation

# 使用 npx 运行
npx -y @modelcontextprotocol/server-groq

# 或使用 uvx
uvx mcp-server-groq

Configuration

添加以下配置到 claude_desktop_config.json：

{
  "mcpServers": {
    "groq": {
      "command": "npx",
      "args": ["-y", "@modelcontextprotocol/server-groq"],
      "env": {
        "GROQ_API_KEY": "your-api-key"
      }
    }
  }
}

获取 Groq API Key

访问 https://console.groq.com/
创建账户
转到 API Keys 页面
创建新密钥

Available Models

模型	上下文窗口	用途
`llama3-70b-8192`	8K	高质量通用任务
`llama3-8b-8192`	8K	快速通用任务
`mixtral-8x7b-32768`	32K	复杂推理
`gemma-7b-it`	8K	轻量级任务
`llama-3.1-405b`	128K	超大规模模型

Available Tools

Tool	Description
`groq_list_models`	列出可用模型
`groq_chat`	执行聊天请求
`groq_generate`	生成文本
`groq_embeddings`	生成嵌入向量

Usage Examples

示例 1：高速对话

AI: 使用 llama3-70b 快速回答这个问题

Groq MCP:
- 调用 groq_chat
- 设置 model: "llama3-70b-8192"
- 启用流式输出
- 返回响应（速度极快）

示例 2：代码生成

AI: 使用 mixtral 生成一个 Python 快速排序实现

Groq MCP:
- 调用 groq_chat
- 设置 model: "mixtral-8x7b-32768"
- 返回生成的代码

Pros

✅ 业界最快的推理速度
✅ 支持多种高质量开源模型
✅ 成本相对较低
✅ 提供免费层级
✅ 支持流式响应
✅ API 与 OpenAI 兼容

Cons

❌ 主要是开源模型，无闭源模型
❌ 上下文窗口相对较小
❌ 某些模型可能暂时不可用
❌ 需要 API Key

When to Use

需要高速 LLM 推理时
想要低成本使用高质量模型时
需要实时流式响应时
想要测试开源模型时
需要免费额度时

Groq MCP

Overview

Setup

Configuration

Documentation

Groq MCP

Overview

Features

Installation

Configuration

获取 Groq API Key

Available Models

Available Tools

Usage Examples

示例 1：高速对话

示例 2：代码生成

Pros

Cons

When to Use

Resources