Apache Beam MCP 服务器

Apache Beam MCP 服务器

管理 Apache Beam 工作流的 MCP 服务器,支持多种运行器。

快速入门

  1. 克隆仓库并创建虚拟环境:

    • git clone https://github.com/yourusername/beam-mcp-server.git
    • cd beam-mcp-server
    • python -m venv venv && source venv/bin/activate (Windows: venv\Scripts\activate)
  2. 安装依赖:

    • pip install -r requirements.txt
  3. 启动服务:

    • 使用 Direct 运行器:python main.py --debug --port 8888
    • 使用 Flink 运行器:CONFIG_PATH=config/flink_config.yaml python main.py --debug --port 8888
  4. 提交任务:

    • 创建输入文件:echo "test content" > /tmp/input.txt
    • 使用 curl 提交任务至 http://localhost:8888/api/v1/jobs
  5. Docker 支持:

    • 拉取镜像:docker pull ghcr.io/yourusername/beam-mcp-server
    • 运行容器:docker run -p 8888:8888 ghcr.io/yourusername/beam-mcp-server
  6. 部署到 Kubernetes:

    • 使用 kubectl 或 Helm 部署(详情参考文档)。
  7. 文档:

  8. 测试:

    • 运行测试脚本:./scripts/run_regression_tests.sh