MCP 服务器:集成多模型的 API 服务

MCP 服务器:集成多模型的 API 服务

管理多种大语言模型,提供标准化接口和上下文切换功能。

快速入门

系统要求

  • Python 3.8 及以上
  • GPU 支持(可选)
  • Docker & Docker Compose(可选)

安装与运行

手动安装

  1. 克隆代码库:git clone https://github.com/yourusername/mcp-server.git && cd mcp-server
  2. 运行设置脚本:python setup.py
    • 下载所有模型:python setup.py --download-models
    • 下载特定模型:python setup.py --download-models --model deepseek
  3. 启动服务:
    • 激活虚拟环境:source venv/bin/activate(Windows 使用 venv\Scripts\activate
    • 运行服务:uvicorn app.main:app --reload

使用 Docker

  1. 克隆代码库:git clone https://github.com/yourusername/mcp-server.git && cd mcp-server
  2. 启动容器:docker-compose up -d

示例 API 请求

获取可用模型: GET /api/models

发送聊天请求: POST /api/chat 请求体示例: { "session_id": "550e8400-e29b-41d4-a716-446655440000", "messages": [{"role": "user", "content": "你好"}], "model": "default", "parameters": {"temperature": 0.7, "max_new_tokens": 512} }