Fetch

Fetch

网页内容抓取与转换,以提高LLM使用效率

概述

MCP Fetch 是一个网页内容抓取服务器,使大型语言模型能够:

  • 从互联网检索网页内容
  • 将 HTML 转换为易读的 Markdown 格式
  • 分块读取长网页(通过 start_index 参数)

安装选项

使用 uv (推荐)

# 无需安装,直接通过 uvx 运行

使用 PIP

pip install mcp-server-fetch

使用 Docker

# 使用预构建的 Docker 镜像

基本配置 (Claude.app)

将以下配置添加到 Claude 设置中:

使用 uvx (推荐)

"mcpServers": {
  "fetch": {
    "command": "uvx",
    "args": ["mcp-server-fetch"]
  }
}

使用 pip 安装

"mcpServers": {
  "fetch": {
    "command": "python",
    "args": ["-m", "mcp_server_fetch"]
  }
}

使用方法

可用工具

  • fetch - 抓取网页并转换为 Markdown
    • 参数:
      • url (必填): 要抓取的 URL
      • max_length (可选): 返回的最大字符数,默认 5000
      • start_index (可选): 从指定索引开始提取,默认 0
      • raw (可选): 获取未转换的原始内容,默认 false

常见用法

fetch(url="https://example.com")

高级配置

自定义 robots.txt 行为

添加参数 --ignore-robots-txt 可以忽略网站的 robots.txt 规则

自定义 User-agent

添加参数 --user-agent=YourUserAgent 设置自定义 user-agent

调试

使用 MCP 检查器:

npx @modelcontextprotocol/inspector uvx mcp-server-fetch

更多信息

详见 GitHub 仓库: https://github.com/modelcontextprotocol/servers