Crawlab MCP Server

概述

Crawlab MCP 服务器允许 AI 应用程序通过标准化接口与 Crawlab 交互，提供爬虫管理、任务控制和资源访问等功能。

快速安装

方法 1: Python 包安装

# 从源码安装
pip install -e .

# 启动服务器
crawlab_mcp-mcp server [--spec PATH_TO_SPEC] [--host HOST] [--port PORT]

方法 2: 本地运行

# 拷贝配置文件
cp .env.example .env

# 编辑配置文件，填入 Crawlab API 信息
# CRAWLAB_API_BASE_URL=http://your-crawlab-instance:8080/api
# CRAWLAB_API_TOKEN=your_api_token_here

# 安装依赖并运行
pip install -r requirements.txt
python server.py

方法 3: Docker 运行

docker build -t crawlab-mcp-server .
docker run -p 8000:8000 --env-file .env crawlab-mcp-server

Docker Compose 集成

在 docker-compose.yml 中添加:

services:
  mcp-server:
    build: ./backend/mcp-server
    ports:
      - "8000:8000"
    environment:
      - CRAWLAB_API_BASE_URL=http://backend:8000/api
      - CRAWLAB_API_TOKEN=your_api_token_here
    depends_on:
      - backend

使用方法

1. 确保 MCP 服务器正在运行
2. 配置 AI 客户端（如 Claude 桌面版）连接到服务器
3. 通过自然语言与 Crawlab 交互

示例命令

• "列出所有爬虫"
• "创建一个新的爬虫，名为..."
• "运行爬虫X并在完成后通知我"
• "显示爬虫X的代码"
• "更新爬虫X中的main.py文件"

主要功能

通信流程

1. 用户发送自然语言查询
2. LLM 处理查询并选择合适的工具
3. MCP 客户端将工具调用发送到服务器
4. 服务器执行 Crawlab API 请求并返回结果
5. 结果通过 LLM 转换为用户可读响应

更多详细信息请参考完整文档。