Spark MCP 代码优化工具

Spark MCP 代码优化工具

基于 Model Context Protocol 的 PySpark 代码优化和性能分析工具。

快速入门

  1. 安装依赖 安装所需依赖包:

    pip install -r requirements.txt
    
  2. 准备输入代码 将需要优化的 Spark 代码放入 input/spark_code_input.py

  3. 启动服务端 执行以下命令启动 MCP 服务器:

    python v1/run_server.py
    
  4. 运行客户端 启动客户端以优化代码:

    python v1/run_client.py
    
  5. 查看输出

    • 优化后的代码会保存到 output/optimized_spark_example.py
    • 性能分析报告会生成在 output/performance_analysis.md
  6. 对比执行 使用以下命令运行并对比原始与优化代码的性能:

    python v1/run_optimized.py