Crawl4AI-MCP:智能网络爬虫与内容分析工具
一个结合目标网页抓取与Claude AI处理的网络爬虫和内容分析服务器,可从特定网站提取深度见解。
快速入门
- 克隆仓库: git clone https://github.com/Vistiqx/Crawl4AI-MCP.git cd Crawl4AI-MCP
- 安装依赖: npm install
- 创建
.env
文件并添加 Anthropic API 密钥: ANTHROPIC_API_KEY=your_api_key_here - 启动服务器: npm start
- 使用示例请求进行测试:
curl -X POST http://localhost:3000/api/crawl
-H "Content-Type: application/json"
-d '{"url": "https://example.com", "depth": 1, "aiProcessing": {"task": "summarize"}}' - 检查服务器状态:访问
GET /api/healthcheck
。