MCP 服务器:集成多模型的 API 服务
管理多种大语言模型,提供标准化接口和上下文切换功能。
快速入门
系统要求
- Python 3.8 及以上
- GPU 支持(可选)
- Docker & Docker Compose(可选)
安装与运行
手动安装
- 克隆代码库:
git clone https://github.com/yourusername/mcp-server.git && cd mcp-server
- 运行设置脚本:
python setup.py
- 下载所有模型:
python setup.py --download-models
- 下载特定模型:
python setup.py --download-models --model deepseek
- 下载所有模型:
- 启动服务:
- 激活虚拟环境:
source venv/bin/activate
(Windows 使用venv\Scripts\activate
) - 运行服务:
uvicorn app.main:app --reload
- 激活虚拟环境:
使用 Docker
- 克隆代码库:
git clone https://github.com/yourusername/mcp-server.git && cd mcp-server
- 启动容器:
docker-compose up -d
示例 API 请求
获取可用模型: GET /api/models
发送聊天请求: POST /api/chat 请求体示例: { "session_id": "550e8400-e29b-41d4-a716-446655440000", "messages": [{"role": "user", "content": "你好"}], "model": "default", "parameters": {"temperature": 0.7, "max_new_tokens": 512} }