Crawl4AI-MCP:智能网络爬虫与内容分析工具

Crawl4AI-MCP:智能网络爬虫与内容分析工具

一个结合目标网页抓取与Claude AI处理的网络爬虫和内容分析服务器,可从特定网站提取深度见解。

快速入门

  1. 克隆仓库: git clone https://github.com/Vistiqx/Crawl4AI-MCP.git cd Crawl4AI-MCP
  2. 安装依赖: npm install
  3. 创建 .env 文件并添加 Anthropic API 密钥: ANTHROPIC_API_KEY=your_api_key_here
  4. 启动服务器: npm start
  5. 使用示例请求进行测试: curl -X POST http://localhost:3000/api/crawl
    -H "Content-Type: application/json"
    -d '{"url": "https://example.com", "depth": 1, "aiProcessing": {"task": "summarize"}}'
  6. 检查服务器状态:访问 GET /api/healthcheck