Chain of Draft 推理服务器

Chain of Draft 推理服务器

Chain of Draft (CoD) 是一种高效的推理方法,用于减少大型语言模型的推理成本并提高速度。

快速入门

安装

  1. 克隆仓库。
  2. 安装依赖: Python: pip install -r requirements.txt JavaScript: npm install
  3. 配置 API 密钥(在 .env 文件中):
    ANTHROPIC_API_KEY=your_api_key_here
    
  4. 启动服务: Python: python server.py JavaScript: node index.js

使用

  • Python 示例: 创建客户端并解决问题:
    from client import ChainOfDraftClient
    cod_client = ChainOfDraftClient()
    result = await cod_client.solve_with_reasoning(problem="Solve: 247 + 394 = ?", domain="math")
    print(result['final_answer'])
    
  • JavaScript 示例: 使用客户端解决问题:
    const result = await chainOfDraftClient.solveWithReasoning({ problem: "Solve: 247 + 394 = ?", domain: "math" });
    console.log(result.final_answer);