机器人感知建造——手势增强的机器人建造工作流与实验

塔拉 许蓁 魏力恺（通讯作者）

天津大学建筑学院

1 机器人感知建造

机器人建造发展已超过30年，从较早的数控机器人石材切割，到多机器人协作金属弯折，再到机器人—无人机协同现场3D打印……建筑师、结构师和机器人专家组成的来自世界各地的交叉团队进行了大量机器人建造实践。从基于传感设备的现场建造工艺，到数字实时机器人控制的新技术，建筑师和设计师正以创意领域的独特需求，拓展机器人“感知”和“创造性”工具的可能性。同时，随着世界各地实验室加大对多机器人单元的投入，涉及多机器人合作的研究也变得越来越平常。这表明建筑和设计领域的机器人建造已经远不止对于传统CNC过程的单纯简化和扩展，研究者们正在主动地开发和探索代表全新建造模式的生产方式。数字化建造作为新的创新驱动方式，在创造性工业领域中保持着加速状态。自2010年以来，机器人建造领域逐渐开始关注如何使“创造性机器人”在建筑、设计和艺术中的应用不断进化和提升。通过各种应用场景中的传感反馈、计算生成和实时控制技术，实现“设计—建造”一体化的新模式研究，已成为国际机器人建造领域的焦点和新突破口，这对于构建当代数字设计与建造新理论和新技术的影响已显而易见。

传统的数字设计和建造过程往往是分离的。大多数情况下，只有能被建模和编程的设计方案才能被建造出来[1]。设计师使用钢笔、鼠标和绘图板、屏幕进行设计并建立几何和数字模型，而机器人则在某种程度上是“蒙住眼睛”执行已经被精确计算和预设的加工程序，这是一种“单向性”的数字建造。而在AI和物联网时代，有必要开发能够在“设计”和“建造”之间持续进行数据交流的更具探索性的“双向性”数字建造方式。机器人建造与建筑生产过程将不再仅是“单向性”流程，而更是一种“双向性”的“软性系统”（Soft System）[2，3]。

机器人感知建造（Robotic Aware Fabrication,RAF）是具有实时外部加强的机器人建造模式新概念，建造不再是机器人“蒙眼”完成的，而是具有感知设计师指示、环境变化和材料行为等能力的软性过程。

1.1 机器人感知建造分类

根据近5年世界各地建筑院校开发的RAF方法和过程，机器人感知建造大致可以分为四类：人类动作感知、传统工艺学习感知、环境交互感知、材料行为感知。

（1）人类动作感知

人类动作感知（Human-Motion Aware）是指捕捉设计师动作或语音等信息，经过过滤函数转换后与初始设计方案的几何图形结合，通过KUKA|prc生成符合设计师和工匠实时创作意图的新的TPC动作路径，由RSI服务器实时将动作指令数据流传递给机器人，实现有设计师“指导”的“创造性”建造过程。实验场景包括：手势/语音控制泡沫切割、手势/语音控制机器人3D混凝土墙/柱打印等[4-6]。

（2）传统工艺学习感知

1 机器人感知建造体系框架

传统工艺学习感知（Craft-Learning Aware）是将木匠、泥瓦匠等传统工艺的动作路径进行传感捕捉和大量采样记录，利用人工神经网络和深度机器学习方法技术，训练机器人学习和模仿工匠的建造方式，实现“无指导”的“创造性”建造过程。实验场景包括：机器人墙体抹灰、机器人木工刀雕刻、机器人黏土挤捏等[7，8]。

（3）环境交互感知

环境交互感知（Environment-Interaction aware）是将现场建造过程中的材料尺寸偏差、构件变形和构件抓取等动态的环境变量，实时反馈到初始的形态和结构的参数化模型中，通过几何变换和性能优化等“再设计”后，向RSI服务器和机器人实时传递适应现场材料和环境变化的建造动作路径。实验场景包括：不规则砌块—抹灰墙体砌筑、金属杆件焊接、人—机器协作建造等[9，10]。

（4）材料行为感知

材料行为感知（Material-Behavior Aware）是利用ABS热熔材料或天然不规则木/石材自身的材料行为特性，通过控制热熔材料温度、挤出距离和速度之间或木/石材不规则形状与摆放位置之间的关系，预先制定机器人动作路径规则，实现由机器人基于动作规则和材料行为特性的“自主”的“创造性”建造过程。实验场景包括：ABS材料行为3D打印、机器人鸟巢搭建等[11，12]。

1.2 机器人感知建造体系

机器人“感知”和“创造性”的建造过程将使建筑师和设计师有能力探索数字和材料之间的新边界。正如Vallgarda和Redstroem在2007年人机交互大会（CHI 2007）中提出的“计算性复合体”（Computational Composites），当前我们所面临的更大挑战是如何实现“机器人复合体”（Robotic Composites），即如何实现不同“硬件”（如人、机器人、工具端和材料等）与“软件”（如数据、程序、工具路径和工作流等）之间的无缝连接。

因此，本研究试图开发一种机器人建造的新框架，将建筑形态、结构、数据、工作流、交互、传感反馈、材料行为、通讯协议和时间纳入整体，作为主要的研究对象和项目的限制条件，提出基于传感反馈增强的不同尺度和结构形式的机器人创造性实践体系，深入开发针对不同设计—建造场景的反馈—动作机制和工作流，建立机器人感知建造体系框架（图1）。

机器人感知建造体系包括传感反馈工作流中的三个环节，也是三个子系统：环境/行为传感系统、设计生成与优化系统、机器人实时建造系统。

（1）环境/行为传感系统

利用十轴陀螺/ 气压运动传感器（如WIT BWT901BCL）、红外测距器（如Sharp GP2D120XJ00F和VL6180X）、红外测温器（如MLX 90614）、三维扫描摄像机（如英特尔Perceptual Computing）和视觉识别摄像机（如Kinect2）等工具组成复合式的环境/行为传感系统，捕捉人和材料的行为动作，获取机器人末端执行器与建造材料的空间几何位置关系，对材料和周围环境进行实时图像视觉识别和三维扫描等。多维的传感器数据在环境/行为传感系统中整合，通过Arduino处理器导入设计生成与优化系统。

（2）设计生成与优化系统

使用C#和Python语言编写Grasshopper设计生成与优化程序，使初始的建造设计方案在环境/行为传感系统反馈的多维数据导入生成与优化系统后，变换为适应建造环境的实时约束条件、满足建筑师的创作意图、符合材料行为特性、结构经济合理的新设计方案，经过KUKA|prc生成更新的TPC路径后，以KRL和Gcode等机器人指令语言传递给机器人实时建造系统。

（3）机器人实时建造系统

机器人实时建造系统用于协调外部计算机、机器人控制器、机器人、末端执行器和材料行为之间的通讯和反馈。设计生成与优化系统更新的机器人指令，通过KUKA RSI服务器、用户数据协议（User Datagram Protocol,UDP）和本地Ethernet连接，以XML数据流传递到机器人控制器，从而实现对机器人的实时动作控制。设计生成与优化系统更新的TPC路径，根据不同建造场景的优化生成效率和耗时不同，以0.1～1s间隔向RSI服务器发送数据，RSI服务器以4ms间隔更新机器人姿态，同时将机器人的关节角度、全局位置、速度和IO值返回计算机，对机器人运行状态进行实时监控。

机器人感知建造体系的三个子系统是感知建造的技术策略，四类感知建造则是不同的感知建造场景，二者相互连接共同构成机器人感知建造的工作框架网。

2 HARF工作流：手势增强的机器人建造

手势增强的机器人建造（Hand-Motion Augmented Robotic Fabrication,HARF）工作流试图在机器人感知建造（RAF）体系框架的基础上，开发一种将建筑形态、结构、数据、交互、传感反馈、通讯协议和时间线等要素同时纳入考虑并统一整合的新框架，提出基于传感器数据反馈增强的、适应不同尺度和结构的机器人感知建造系统，建立“反馈—动作”机制和“机器人复合体”的交互平台。

HARF工作流为“传感器—执行器”反馈循环，根据上文“机器人感知建造体系”的三个子系统，HARF工作流可划分为三部分：1）手势传感：通过Arduino和FireFly读取和导入传感器数据；2）数据过滤与优化：将手势动作的噪声数据过滤和优化为理想数据；3）机器人实时动作：数据传递和机器人实时动作控制（图2）。

2.1 手势传感

使用十轴动作传感器WIT BWT901BCL和Arduino捕捉旋转加速度、倾斜角等设计师手势动作的几何数据。人类手部运动通常包括手指、手腕和手臂等动作，研究允许使用者手握传感器，只感知和记录手腕和手臂动作的旋转角度，暂不考虑手指姿态。传感数据通过Arduino IDE读取，并由FireFly导入Grasshopper。

2.2 数据过滤与优化

手势动作信息转化为机器人动作路径的数据过滤与优化过程，包括传感数据导入、过滤与优化算法、控制数据导出三个模块。

（1）传感数据导入

使用计时器自定义设置FireFly读取传感器数据的时间间隔，并在Grasshopper平台对导入的坐标和角度信息进行处理。FireFly的读取时间间隔需要与下文介绍的Web服务器和外部系统保持统一。

（2）过滤与优化算法

使用者在手势动作中将产生大量琐碎且不重要的干扰数据，过滤与优化算法的目标是对传感器实时收集的真实、离散或者突变的数据进行降噪处理，从而生成转化为既符合设计师意图，又便于机器人加工和材料处理的优化或变体数据。

（3）控制数据导出

KUKA|prc将过滤和优化后的工具中心点（Tool Center Point,TCP）数据转化为机器人各轴的实际工作姿态，使用C#为Grashhopper开发Web服务器，作为控制数据导出接口，使用C++开发外部系统（External System），将姿态数据由Ethernet实时传递给机器人控制器。各组姿态数据生成后会立即由Web服务器传递给外部系统，每一次传递的时间间隔与传感数据导入模块统一，从而在“数据过滤与优化”和“机器人实时动作”之间建立连续稳定的数据流。

2.3 机器人实时动作

HARF工作流的整体协调工作由KUKA RSI（Robotic Sensor Interface）实现，允许XML包通过Ethernet传递，使得机器人控制器能够随时接收过滤和优化后的数据，并实时调整机器人姿态和工作路径。数据在Grasshopper的Web服务器中定义为XML结构，XML数据流通过C++开发的外部系统和UDP（User Datagram Protocol）传递给RSI和机器人控制器，从而驱动机器人实时动作（图3）。HARF工作流提供“Web服务器”和“外部系统”两种连接工具，在Grasshopper的参数化设计数据和机器人实时动作之间架起桥梁，将虚拟世界的数字计算与真实世界的实体建造实时连接在一起。

3 建造实验：自由波形混凝土墙

我们以HARF工作流为技术基础，进行自由波形混凝土墙的建造实验，试图在一定程度上实现人与机器人、机器人与材料的实时交互。整个过程分为机械臂之舞、自由波形泡沫切割和混凝土墙浇筑三部分。

3.1 机械臂之舞

此过程检验机器人在使用者手势控制下进行实时动作的姿态和灵活性。使用者通过两个动作传感器分别控制TCP的Y轴和Z轴，由于人类手腕的转动范围基本保持在180°以内，过滤与优化模块则将传感器的-90°～90°的倾斜角映射到TCP的-300～300mm的动作区间，以限定机械臂之舞的极限（图4）。在使用者双手手势控制下，机械臂六轴能够实现此空间极限中的任意姿态，这表明HARF工作流搭建基本完成。

3.2 自由波形泡沫切割

为实现自由波形混凝土墙建造，采用设计师手势控制机械臂热刀（Hot-Knife）姿态和路径，实时切割出曲面泡沫，为混凝土浇筑提供自由波形的泡沫模板（图5）。

机械臂热刀的默认路径是一系列固定波长和周期次数的正弦曲线，而在泡沫切割过程中，每1/2周期正弦曲线振幅的变化幅度则由手势在上文FireFly和Web服务器设定的时间间隔点的实时角度直接控制（图6）。每1/2周期变化一次振幅的三角函数既能较为明显地体现出手势变化的影响程度，又能保持自由波形曲线（曲面）平滑。

泡沫切割采用安装在KUKA KR60机械臂上长250mm、直径1mm的热切割刀（Hot-Knife）工具进行。热切割刀与传统热切割线方式（Hot-Wire）相比，能够同时实现尖锐凸形和凹形的泡沫模板形态，将使浇筑后混凝土墙的自由波形曲面更加棱角分明。实验将规格为1 200mm x 600mm x 250mm的泡沫块固定在工作台上，设计师（操作者）根据现场切割状态和主观造型意图，在水平和竖直之间调整手腕倾斜角度，控制机械臂实时改变切割路径（图7）。

3 HARF 工作流

4 手势控制机械臂实时动作

5 泡沫切割工作流程

6 手势数据过滤算法

7 泡沫切割过程

FireFly读取手势传感器的时间间隔设定为热切割刀完成每段1/2周期正弦曲线泡沫切割的现实物理加工时间。每段1/2周期曲线切割完成的同时，Grasshopper将以瞬时手势传感器倾斜角度为振幅的新一段1/2周期正弦曲线与上段切割曲线平滑连接，并生成一系列TCP法线和控制点，KUKA|prc将各控制点机械臂六轴姿态数据通过Web服务器、外部系统和KUKA RSI传递给机器人控制器实时执行，完成各段自由波形曲线的泡沫切割。

3.3 混凝土墙浇筑

混凝土墙沿水平方向浇筑，切割完成的自由波形泡沫作为底模，四周采用12mm厚木板作为边模，形成一个1 200mm x 600mm x 300mm的浇筑模板体量。混凝土采用H60高强无收缩灌浆料，按水灰比1:7.576配置搅拌后均匀浇注在提前涂有拆模剂的模板中，初凝后在混凝土表面洒水养护并覆以锯末保湿（图8）。

经过48h养护后混凝土模板拆除，一段长1 200mm的自由波形混凝土实验墙最终完成。在集装箱阅读舱小花园前，这一小段看似柔软的混凝土墙吸引了很多学生和小孩子，感触原本坚硬的混凝土表面平滑柔和、自由流淌的曲面（图9）。这也是我们选择“人类动作感知”和HARF工作流手势反馈作为本次研究机器人与材料之间交互和新边界的原因之一，即通过手势控制的人性化工作流程，可以化“坚硬”为“柔软”。HARF和机器人感知建造使机器人建造不再“蒙眼”进行，而是成为一种能够感知设计师指示、环境变化和材料行为的软性系统。

4 感知：面向“设计—建造”一体化

8 混凝土墙浇筑、养护及拆模

9 自由波形混凝土墙

过去几十年人们广泛探讨如何将数据驱动工具运用于设计与建造之中。数字化时代的建筑师在追求参数化建模和计算性设计过程的同时，工业机器人工具的出现为我们提供了另一个平台。制造领域的发展使工业机器人的精确性、灵活性和可靠性在近30年中迅速得以提高，机器编程和接口的开放标准更是吸引了大量新用户进入机器人世界。借助工业机器人的灵活性和开放性，建筑师的设计过程不再局限于在虚拟世界中对计算形式的发掘，更体现在机器人“感知”和“创造性”建造过程的“再设计”，从而实现“设计—建造”的连续性和一体化。

机器人“感知”是“设计—建造”一体化的前提。当前在许多机器人建造的工作流程中，“设计”与“建造”相对分离。作为建造对象的构件和材料的规格尺寸、空间位置往往是在参数化建模工具中预设的，处于虚拟世界的理想状态。而在现实世界中，建筑材料在误差累积后会出现较大尺寸偏差，导致机器人“预设”的动作路径与建造对象不匹配，从而影响质量甚至使建造中断。实际建造过程中的环境变化除上述情况外，还包括人为因素（误判、误碰）和天气因素对于建造对象形态和位置的改变，以及材料自身的收缩和膨胀等，都决定着建造过程的成败。正因为在传统机器人建造过程中，“设计”是在建造前“一次性”完成的，缺少应对变化反馈而进行的适应性优化和更新，导致机器人需要面对环境变化的“脆弱性”。而通过视觉、距离和动作等传感器反馈的机器人“感知”数据，反向驱动设计修改和再生成，则使机器人具备应对材料、环境变化的“鲁棒性”，提高机器人建造的可靠程度，实现“设计—建造”的连续性和一体化。

机器人的“创造性”使“设计—建造”一体化过程具有机器人的精确性、设计师和匠人的感性以及材料的涌现性。基于传感反馈加强的全新的人—机器交互模式，使“创造性机器人”成为建筑工匠的双手甚至思维的延伸，而在传感基础上增加针对材料行为特性的建造规则，又使“创造性机器人”具有自主性。在世界各地设计师、工程师和艺术家交叉团队的带领下，建筑、设计和艺术等创意学科的先锋们不再将自己限制在现成技术中，而是转变为在创新性的“设计—建造—生产”一体化方法和交互接口开发中的积极参与者和探索者。“创造性机器人”这一新概念的涌现，为设计师和艺术家探索机器人交互的建造方式提供了更大潜力。设计师和艺术家通过传感反馈终端，直接介入设计的生成和更改过程，将人的动作、语音和材料的自然行为等信息经过算法过滤后，实时控制机器人进行“创造性”建造，为设计师提供了同材料交互的新方式，更加强化了“人”和“材料”本身在机器人建造过程中的自主性，实现“建造即设计”的“设计—建造”一体化过程。

在这种连续的新设计模式和工作流程下，建造本身成为设计的必要元素，设计与建造间的边界正逐渐模糊甚至消失。