Computer Use AI SDK

Computer Use AI SDK

未知

GitHub
Created Bym13vm13v

AI SDK 计算机控制 Quick Start 指南

概述

screenpipe 提供的计算机使用 SDK 是一个开源替代方案，可以让 AI 控制您的计算机：

  • 原生支持 macOS，无需虚拟机或限制
  • 使用底层桌面渲染元素技术，比基于像素的方法更快更可靠
  • 提供 MCP 服务器和客户端，可构建自定义代理

基础功能

开箱即用的工具包括：

  • 启动应用程序
  • 读取内容
  • 点击元素
  • 输入文本
  • 按键操作

获取WhatsApp消息 发送iMessage消息 打开Arc浏览器

安装步骤

  1. 克隆仓库:
git clone https://github.com/m13v/computer-use-ai-sdk.git
cd computer-use-ai-sdk
  1. 安装依赖:
# 安装Rust(如需)
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

# 设置API密钥
export ANTHROPIC_API_KEY=sk-ant-xxxx  # 替换为您的API密钥
  1. 启动后端服务器:
cd mcp-server-for-low-level-computer-use
cargo run --bin server
# 保持运行
  1. 在新终端窗口启动前端客户端:
cd hello-world-mcp-client
npx tsx main.ts

基本使用

输入以下命令试用:

从WhatsApp获取文本

给我消息应用中的可交互元素，然后输入"hello world"并发送

打开Arc浏览器

进阶使用 - 链接工具

  1. 设置服务器:
cd mcp-server-for-chained-tools-and-agents
npm i
export ANTHROPIC_API_KEY=sk-ant...
npm run build
  1. 使用Inspector测试:
npm install -g @modelcontextprotocol/inspector
npx @modelcontextprotocol/inspector node build/server.js
  1. Inspector使用步骤:
    • 点击"Connect"连接
    • 点击"List Tools"查看可用工具
    • 选择工具进行测试
    • 填写必要参数
    • 点击"Run"执行

可能的应用场景

  • 构建自定义工作流，自动执行任务
  • 创建用户友好界面简化自动化
  • 设置定时执行的工作流
  • 结合其他MCP服务器创建复杂应用

访问 screenpipe 了解更多信息。

提交功能请求: 创建新issue