Unreal Engine Generative AI Support Plugin

Unreal Engine Generative AI Support Plugin

UnrealMCP来了!! 从AI自动生成蓝图和场景!! 这是一个用于LLM/GenAI模型及MCP UE5服务器的虚幻引擎插件。支持Claude桌面应用程序与Cursor,同时也包含了OpenAI的GPT4o、DeepseekR1以及Claude Sonnet 3.7 API,并计划很快添加Gemini、Grok 3、音频及实时API。

概述

这是一个为Unreal Engine提供的生成式AI支持插件,支持多种LLM/GenAI模型API和MCP(Model Control Protocol),使AI能够直接控制场景、创建蓝图和执行各种引擎操作。

插件概览

⚠️ 警告:此插件仍在快速开发中,请勿在生产环境中使用,并确保使用版本控制。

主要功能

  • API支持:OpenAI、Claude、Deepseek等模型的API集成
  • MCP支持:与Claude桌面应用、Cursor IDE适配的Model Control Protocol
  • 蓝图生成:AI可创建蓝图、添加函数和变量
  • 场景控制:生成对象、调整变换、修改材质
  • 代码执行:运行Python脚本和控制台命令

MCP演示

安装步骤

添加插件到项目

使用Git子模块

cd YourProject
git submodule add https://github.com/EvieUE/UnrealEngineGenAISupport.git Plugins/UnrealEngineGenAISupport
git submodule update --init --recursive

手动安装

下载插件并放置在项目的Plugins文件夹中。

设置API密钥

编辑器中设置

  1. 打开Unreal Editor
  2. 导航到编辑 > 插件 > 生成式AI支持
  3. 输入您的API密钥

打包构建

在项目的Config/DefaultEngine.ini文件中添加:

[/Script/GenAISupport.GenAISupportSettings]
OpenAIAPIKey=your_api_key
ClaudeAPIKey=your_api_key
DeepSeekAPIKey=your_api_key

基本使用方法

OpenAI API使用

// 创建请求
UOpenAIChat* OpenAIChat = NewObject<UOpenAIChat>();
OpenAIChat->Model = TEXT("gpt-4o"); 

// 添加消息
TArray<FOpenAIChatMessage> Messages;
Messages.Add(FOpenAIChatMessage(EOpenAIChatRole::System, "你是一个有用的助手"));
Messages.Add(FOpenAIChatMessage(EOpenAIChatRole::User, "讲个笑话"));
OpenAIChat->Messages = Messages;

// 发送请求
OpenAIChat->Chat(this, "OnOpenAIChatResponse");

// 回调函数
void YourClass::OnOpenAIChatResponse(const FOpenAIChatResponse& Response, bool bSuccess)
{
    if (bSuccess)
    {
        FString Content = Response.Choices[0].Message.Content;
        UE_LOG(LogTemp, Display, TEXT("Response: %s"), *Content);
    }
}

MCP设置与使用

  1. 安装Claude桌面应用或Cursor IDE
  2. 在插件设置中启用MCP服务器
  3. 使用Claude/Cursor连接到Unreal服务器端口

示例MCP用途:

  • 让AI生成场景对象和布局
  • 创建和修改蓝图功能
  • 自动化场景编辑任务

API演示

支持的模型和API

  • OpenAI: GPT-4o, GPT-4o-mini等
  • Claude: Claude 3.7 Sonnet, 3.5 Haiku/Sonnet, 3 Opus
  • Deepseek: DeepSeek-V3, DeepSeek Reasoning R1
  • 计划中: Gemini, Grok 3, 实时API等

已知问题

  • 蓝图节点生成存在一些bug
  • MCP功能仍在活跃开发中

获取帮助


更多详细信息请参考完整文档。此插件正在积极开发中,欢迎贡献!