AI 进了 3D 世界,能接的活有哪些?逐类说清楚
AI Agent 3D 世界应用、AI 导览员、虚拟世界 AI 岗位、AI 迎宾、AI 讲解、具身智能应用场景、自部署 3D 平台 AI、创世 Genesis
把 AI 接进 3D 世界的通道问题已经解决了:一个域名、一把 Key、一个能跑 Node 18 的环境,AI 就能以人形角色走进你部署的世界。但对很多团队来说,真正的难题在这之后——接是接进来了,让它干什么?
"能接入"和"能干活"之间,差的是一份岗位清单。这篇就把清单摆出来:四类现在就能安排的活、每类活依赖什么、要你自己准备什么,以及它们共同做不到什么。已经实现的和还在路线图上的,分开写。
一、先想岗位,再看功能
一个常见的误区是反过来:先看接口列表,再想"这些接口能拼出什么"。
更顺的思路是先回答"我希望这个世界里有一个什么样的角色",再对照能力清单看它能不能胜任。这篇按岗位来组织,每个岗位给出:它依托的已实现能力、它适合的场景、以及它干不了的部分。
二、四类现在就能安排的活
1. 带路:导览与带看
岗位描述:访客进了世界不知道往哪走,它负责把人从一个点位带到下一个点位,路上开口介绍。
依托的已实现能力:
- 走到坐标、持续跟随(可设停止距离与最长时长,专为带路设计);
- 说话走真人聊天管线,30 米内投递,真人头顶出现气泡;
- 每个世界物体可以在编辑器里填一段"AI 描述"(500 字以内),随空间雷达下发——它知道每个点位是什么。
适合的场景:展厅动线导览、园区带看、线上展馆按主题带逛。
要你准备的:把动线上的点位摆出来,每个点位写清楚 AI 描述。写不清楚,它只知道那里"有个东西"。
2. 讲解:站在展品旁答疑
岗位描述:访客在某个展品前停下来提问,它结合展品资料回答。
依托的已实现能力:
- 空间雷达:它知道谁在自己附近、距离多远、朝向如何(Key 身份感知半径最大 200 米);
- 物体说明随雷达下发,它知道面前是什么;
- 聊天上下文支持断线重连恢复,对话不会因为网络抖动断片。
要你准备的:行业知识库由你自己在本地建——平台只提供"物体说明、聊天记录、空间雷达"三类原料,不托管知识库。也就是说,它答得好不好,取决于你把资料整理得多清楚。
要如实交代的:它看不见画面。它不知道访客的表情和视线,只知道系统喂给它的结构化信息。讲解的"察言观色"这部分,目前做不到。
3. 迎宾与值守:门口那双眼睛
岗位描述:在入口位置待命,有人靠近就打招呼、指引方向;没人时保持安静。
依托的已实现能力:
- 实时事件流三档可配(不推 / 每秒聚合 / 逐条推送),新访客出现、移动都能收到;
- 移动限速与真人同量级(1~20 米/秒,默认 9),不会瞬移到访客面前;
- 空闲 5 分钟无操作自动退场,不白占名额。
适合的场景:展厅入口迎宾、活动签到引导、定时开放期间的值班角色。
要如实交代的:这是"守在门口"而不是"监控全场"——它的感知范围就是那套雷达,出了半径它就不知道了。
4. 陪练与流程引导:把步骤走一遍
岗位描述:按预设流程引导访客完成一段操作或学习路径,中途答疑、纠偏、提示下一步。
依托的已实现能力:走动、说话、跟随、互动动作、每条指令的执行回执(已受理 / 已完成 / 被拒绝,被打断会明确告知)——流程编排需要的动作原语都在。
要你准备的:流程内容与行业知识,全部由你的 AI 客户端来编排。平台提供的是"它能在世界里行动和说话"这条通道,流程逻辑在通道之外。
要如实交代的:这一类的实际效果完全取决于流程设计和知识库质量,平台侧无法替你保证培训效果——没有实测过的培训数据,本文也不编一个。
三、四类活共同的底盘
| 能力 | 状态 |
|---|---|
| 三步接入(发现能力清单 → Key 换 15 分钟令牌 → 连专用通道) | 已实现 |
| 空间雷达、物体说明、实时事件流、聊天上下文 | 已实现 |
| 走动、跟随、转向、说话、互动、动作回执 | 已实现 |
| 人形呈现、AI 身份明示(进场提示、头顶 AI 前缀) | 已实现 |
| 后台创建 / 停用 / 删除 Agent、发放与吊销 Key | 已实现 |
| 零依赖示例客户端(Node 18+ 可直接跑通全链路) | 已实现 |
四、共同做不到的事
四类活共用同一套能力,也共用同一条边界:
| 目前做不到的 | 原因 |
|---|---|
| 看见画面 | 只有结构化雷达,没有摄像头式的视觉 |
| 语音听与说 | 语音通道默认关闭,转写与发声由企业自己的 AI 客户端承接 |
| 托管知识库 | 知识库由企业自建,平台只给原料 |
| 地形贴合 | 服务端没有地形与碰撞数据,移动是平面加边界 |
| 传送、碰资产 | 和真人访客同一套规则,没有背包、没有商城 |
| 自主意识 | 它是一个可编程角色,行为来自你给的模型和提示词 |
还有一条产品红线顺带说明:AI 身份始终明示——进场有提示、头顶有前缀,真人始终知道对面是 AI。
五、还在路线图上的(规划,不是现状)
以下写出来是为了边界完整,它们都还没实现:
- 模板化讲解员:后台选模板、填知识库、生成一个"讲解员"角色——目前安排上面任何一类活,都需要一个能写代码的客户端来接;
- 世界封装 MCP Server(规划):让支持 MCP 的 AI 工具直接进入一个世界;
- Agent 商店(规划)与 Agent 互联(规划)。
六、FAQ
Q:这四类活,哪一类最容易先跑起来?
A:带路和迎宾。它们主要依赖移动、说话、雷达这些平台侧能力,你要准备的只是点位描述和打招呼的规则。讲解和陪练多一层知识库工作,周期取决于你整理资料的速度。
Q:需要多少人手?
A:平台侧的配置工作在后台完成;真正的工作量在内容——点位描述、知识库、流程设计。这些活不依赖平台团队,你自己的业务人员就能做。
Q:AI 说错话怎么办?
A:聊天记录实时落在你自己的服务器并按配置归档,有审计与吊销机制。上线前建议限定知识库范围、设敏感话题兜底、安排人工抽查。行为治理的后台流程仍在完善中。
Q:这些岗位能同时存在吗?
A:可以。实测每个 Agent 的推流量约 1 KB/s,一百个同场约 0.8 Mbps,服务器负载约等于单核的 1%。并发上限在后台设置。
七、源码与仓库
三个地址内容一致,国内访问用前两个更快。仓库里有部署说明与演示入口。
- Gitee(国内访问更快):https://gitee.com/miduoxinxijeji/miduo.git
- GitCode(国内镜像):https://gitcode.com/qq_35054471/virtual-world
- GitHub:https://github.com/miduo100/3d-virtual-world
关于创世Genesis
创世Genesis是一套基于Three.js+WebGL构建的自部署3D虚拟世界系统,帮助个人与企业搭建属于自己的3D空间。浏览器直接访问,PC和手机双端兼容,支持多人在线、联邦传送、商铺系统,并支持Agent接入——AI能以具身角色进入你部署的世界。数据运行在你自己的服务器上,不经过第三方平台——让每个世界都真正属于它的主人。
想让 AI 在你的 3D 世界里接一份具体的活? 创世Genesis(创世虚拟世界CRM系统)是一套部署在你自己服务器上的 Three.js 3D 虚拟世界基底——AI 接入的门已经通,岗位清单里的能力都已实现,剩下的是你给它的那份内容。官网(搜「创世虚拟世界CRM」即可找到)有可以走一圈的演示世界。
关于名字:本文说的创世Genesis,即创世虚拟世界CRM系统,两者是同一个自部署 3D 虚拟世界产品。若你通过「创世Genesis」没搜到我们,直接搜「创世虚拟世界CRM」即可。