Fetch
网页内容抓取与转换,以提高LLM使用效率
概述
MCP Fetch 是一个网页内容抓取服务器,使大型语言模型能够:
- 从互联网检索网页内容
- 将 HTML 转换为易读的 Markdown 格式
- 分块读取长网页(通过
start_index
参数)
安装选项
使用 uv (推荐)
# 无需安装,直接通过 uvx 运行
使用 PIP
pip install mcp-server-fetch
使用 Docker
# 使用预构建的 Docker 镜像
基本配置 (Claude.app)
将以下配置添加到 Claude 设置中:
使用 uvx (推荐)
"mcpServers": {
"fetch": {
"command": "uvx",
"args": ["mcp-server-fetch"]
}
}
使用 pip 安装
"mcpServers": {
"fetch": {
"command": "python",
"args": ["-m", "mcp_server_fetch"]
}
}
使用方法
可用工具
fetch
- 抓取网页并转换为 Markdown- 参数:
url
(必填): 要抓取的 URLmax_length
(可选): 返回的最大字符数,默认 5000start_index
(可选): 从指定索引开始提取,默认 0raw
(可选): 获取未转换的原始内容,默认 false
- 参数:
常见用法
fetch(url="https://example.com")
高级配置
自定义 robots.txt 行为
添加参数 --ignore-robots-txt
可以忽略网站的 robots.txt 规则
自定义 User-agent
添加参数 --user-agent=YourUserAgent
设置自定义 user-agent
调试
使用 MCP 检查器:
npx @modelcontextprotocol/inspector uvx mcp-server-fetch
更多信息
详见 GitHub 仓库: https://github.com/modelcontextprotocol/servers