微软开源新研究：将ChatGPT对话转化为实体机器人动作，“终结者”要来了（上）

摘自 AIGC开放社区 AIGC开放社区
专注AIGC领域的专业社区，关注GPT-4、百度文心一言、华为盘古等大语言模型（LLM）的发展和应用落地，以及国内LLM的发展和市场研究，欢迎关注！

微软宣布开源了最新研究ChatGPT-Robot-Manipulation-Prompts，可以将人与ChatGPT的自然语言对话，转化为实体机器人动作。

传统模式，想让实体机器人执行人类的命令是基于硬件或特定代码，整体流程非常繁琐、复杂不适合个人用户使用。现在，通过该技术用户只用自然语言，就能指挥机器人执行各种操作，例如，“帮我打开冰箱，拿一杯果汁放在地板上”，机器人能帮你迅速完成这些指令。

微软表示，用ChatGPT的交流方式去控制实体机器人是一个非常大的商业应用场景，这会进一步简化实体机器人的应用流程并增强用户体验。使得每个人都能拥有自己的家用机器人。

微软测试与集成了ChatGPT的实体机器人对话

技术简单介绍

尽管ChatGPT受到了全球数亿人的青睐，但在场景化落地方面较窄目前仅限于软件领域，微软希望通过该研究可以扩大ChatGPT的应用边界，尤其是与物理机器人相结合使用。

从实际应用角度来看，这种无需大量数据收集或模型训练，即可轻松适应多种应用或操作机器人的解决方案非常适用于普通人。

从微软发布的论文来看，其开发了一组多轮对话模板用于ChatGPT与实体机器人交互。对于第2个和后续指令，ChatGPT的下一个响应是根据之前所有对话轮次创建的，允许 ChatGPT 根据自己之前的输出和用户反馈（如果需要）进行更正。

如果输入内容超过 ChatGPT的限制，系统会进行提示用户调整内容大小，同时保留有关更新环境的最新信息。主要技术特性如下：

适用于各种家居环境。
以可读的JSON格式输出一系列，带有解释的预定义机器人动作。
以形式化的方式表示操作环境。
推断并输出运行环境的更新状态，可作为下一次输入重复使用，让ChatGPT 仅基于最近操作的记忆进行操作。

此外，该技术还支持与机器人执行系统或视觉识别程序实现集成，这样做的好处是避免了冗余语言指令以获得视觉和物理参数。

例如，让机器人举高自己的双手。机器人并不知道到底要举高多少，即便是你说出举高20厘米，机器人没有存储数据也是无法做到。

当与视觉识别程序进行集成后，就可以解决这些难题，机器人可以从视觉识别中自动提取要做的详细动作。

【研究发现：#刷手机不是打工人最好的摸鱼方式#】#你工作摸鱼时最爱做什么#？大量研究显示随着时间的延长，我们的警觉性（在心理学中定义为长时间保持专注的能力）会不可避免地下降。如果我们开始在一项任务上表现不佳，说明大脑已经停止关注它了，这时需要做的就是——摸鱼，去做一些和工作完全无关的事。对于日常对着电脑办公的人来说，刷手机并不是最好的摸鱼方式，我们更需要远离屏幕的活动。

比如站起来走走，最好能到室外散散步；如果你在家办公还可以撸撸自己的猫或者狗；或者可以跟与工作无关的人聊天，最好能聊到让自己大笑出来，这样可以抵消工作时产生的焦虑和压力；还可以冥想或者做白日梦，这时默认模式网络疯狂活跃，中央执行网络彻底安静，也是很好的大脑放松方式。你工作摸鱼时最爱做什么？科普↓（把科学带回家）

【研究发现：#刷手机不是打工人最好的摸鱼方式#】#你工作摸鱼时最爱做什么#？大量研究显示随着时间的延长，我们的警觉性（在心理学中定义为长时间保持专注的能力）会不可避免地下降。如果我们开始在一项任务上表现不佳，说明大脑已经停止关注它了，这时需要做的就是——摸鱼，去做一些和工作完全无关的事。对于日常对着电脑办公的人来说，刷手机并不是最好的摸鱼方式，我们更需要远离屏幕的活动。

比如站起来走走，最好能到室外散散步；如果你在家办公还可以撸撸自己的猫或者狗；或者可以跟与工作无关的人聊天，最好能聊到让自己大笑出来，这样可以抵消工作时产生的焦虑和压力；还可以冥想或者做白日梦，这时默认模式网络疯狂活跃，中央执行网络彻底安静，也是很好的大脑放松方式。你工作摸鱼时最爱做什么？科普↓（把科学带回家）