面向定制装配式建筑的混合现实智能建造——以第三届中国国际太阳能十项全能竞赛作品极光之家为例

王思宁，韩冬辰

国务院2017 年颁布的 《关于促进建筑业持续健康发展的意见》 和住建部等2020 年颁布的《关于推动智能建造与建筑工业化协同发展的指导意见》（以下简称《指导意见》）将装配式建筑和智能建造协同发展列为重点。装配式建筑定制化需求和标准化生产之间的博弈一直是建筑发展瓶颈，智能建造作为新型工程模式有望成为解决该问题的契机。而智能建造研究尚处于发展期，建筑领域实践并未实现完全无人化[1]，在面对复杂与非标准化定制任务时，人的作用仍是智能建造不可或缺的部分。因此，针对我国建筑业转型目标和定制装配式建筑发展现状，探索智能建造人机协作方法具有理论和实践意义。基于建筑信息模型（Building Information Model，简称BIM）的建筑数字孪生（Building Digital Twin，简称BDT）理论是装配式建筑与智能建造协同发展的核心，随着混合现实（Mixed Reality，简称MR）技术的兴起，为建筑设计和施工环节的“人—信息—物理”三元系统（Human-Cyber-Physical System，简称HCPS）融合与动态交互提供了手段。笔者认为以BDT 理论为导向，面向装配式建筑探索基于MR 技术的人机协作智能建造模式，将有助于缓解建筑定制需求与标准化生产之间的矛盾。

1 装配式建筑与智能建造协同发展

数字建筑学正走向多维度的物质与虚拟信息相互映射，数字工具和建造技术革新将推动建筑实践从单链式流程转化为对建筑各项数据的实时交互和全生命周期管控[2]，这也为装配式建筑柔性生产和定制化带来了新的可能性。装配式建筑的构件化、部品化特征有利于BIM 与BDT理论的契合应用，并在智能建造技术加持下，使原本离散的设计与建造形成一体化流程。装配式建筑与智能建造协同发展，将通过BIM 实现建筑定制部件几何、性能、建造的参数化可调，达到设计思维、实践方法、生产力相互协调的目的[3]。

1.1 BDT 理论发展

BDT 理论源于制造业，旨在构建信息系统与物理系统之间相互映射，是制造业实现工业4.0目标的使能技术理论，以形成产品的全生命周期管理[4]。而随着建筑实践各环节BIM 技术的广泛应用，BDT 理论逐渐成为建筑业数字化发展的核心驱动力。Borrmann 等认为BDT 主要应用在施工阶段，通过BIM 衔接各参与方以整合施工各环节相关信息[5]；Khajavi 等从建筑部件运维和监测角度探讨了BDT 技术实践应用的利弊，指出了建筑信息—物理系统静态交互的短板[6]。对此，Sacks 等从数字化设计—建造角度出发，针对流程中信息的分类与处理模式，基于BDT理论制定了建造计划、优化、管理框架[7]；笔者也以实现建筑设计—现状信息的动态映射为目标，提出了“建筑数字孪生体”构想[8]；刘占省等系统性地梳理了BDT 理论与智能建造的关系，强调二者对建筑业转型升级的重要性[9]。

在“十四五”高质量发展需求引导下，BDT 理论发展将有助于装配式建筑与智能建造的深层次联动。针对装配式建筑工种复杂和信息多源化特征，基于BIM 的BDT 技术方法不仅用于设计和建造信息的正向传递，也可进行建造现状数据逆向采集，实现真正意义上的虚实融合。在面对定制作业的非标准化工艺和不确定性因素时，BDT 理论的“可伸缩性、互操作性、可扩展性”特性将通过智能化系统和先进数字技术得以体现。国内外学者针对定制装配式建筑开展了智能建造理论和方法探索，如Gramazio 和Kohler 团队围绕机器人自主智能建造展开实验研究[10]；Menges 团队以结构和材料性能为导向，探索新的建筑形式和实践模式[11]；华好团队结合实践与教学，从材料、工艺、设备等方面研究智能建造理论[12]；袁烽团队以人机协作和机器人建构为视角，基于先进技术开展智能建造理论实践[3]；徐卫国团队从增材制造、人工智能、虚拟和增强现实等技术角度，梳理了建筑学智能化设计与建造的发展方向[13]。

1.2 人机协作智能建造

智能建造实践尚未实现完全自动化，在定制作业中人的作用不可或缺。《指导意见》提出，应加强对装配式建筑工厂生产和现场施工关键环节人机协调、自然交互、自主学习功能的探索，发展“以人为中心”的人机一体化智能系统是本世纪的重要课题[14-15]。Picon 和Patrik 等认为在建筑学数字范式转向的引领下，人和机器将组成新的融合物，即以人机协作设计和建造的“赛博格”（Cyborg）主体，代替原本“人操作物”与“机器处理数据”相独立的模式[16-17]。而BDT理论导向下的人机协作建造将充分利用现代化网络的信息交互、可视化认知、性能计算和智能决策能力，力求实现智能建造流程的一体化集成[18-19]。

智能建造人机协作的关键是发挥人与机器“双智能”，利用人的灵活决策力处置不完全信息，应对施工过程的不确定性因素。为实现人机共享时空下的信息交互，需依据数字技术应用情境合理制定人机分工，衔接建筑虚拟信息与建造实体。以定制装配式建筑DFAB HOUSE（Gramazio Kohler Research，2019，图1）和池社（创盟国际，2017，图2）的人机协作智能建造为例，二者自动化流程多以既定场景、预设规则和任务的机器人辅助建造为主，如构件加工、打孔、空间定位等，关键装配环节和现场误差修正仍需依靠人工完成。将人类的思维、组织能力与机器的工具性、执行能力联合起来，需通过先进技术设备构建人—机—物之间的动态交互[20]。对此，Fantini 等提出借助MR 技术和机器视觉可增加信息处理的灵活性，减轻人机混合智能系统的感知和认知压力[21]。笔者认为，结合穿戴设备将“人”融入信息、物理系统的数据交互回路，可创造“以人为中心”的BDT 环境，提升智能建造的人因工效。

1 DFAB HOUSE木结构的人机协作建造，来源：https://gramaziokohler.arch.ethz.ch/

2 池社砖立面的人机协作建造，来源：http://www.archi-union.com/index.php/Home/Indexs/index

2 MR技术建筑领域应用

2.1 基于MR 技术的智能建造

从1990 年代起，MR 技术首先出现在先进制造业，旨在取代传统图纸平面化、低效的表达方式，以三维图像直观辅助人工生产。Milgram 等定义MR 为“虚拟—现实连续体”，介于真实环境和虚拟环境之间（图3）[22]。MR 技术可通过单一显示设备应用于建筑领域，其虚实融合、实时交互、三维注册等技术特征与BIM 建筑“信息—物理”系统交互映射相匹配。针对建筑业复杂任务尤其是非标准化定制作业，MR 技术有助于简化施工步骤，降低对施工人员工程经验、专业性的需求门槛[23]。MR 技术可通过开源平台如ARCore、ARKit、Unity 等与移动智能设备和穿戴设备结合，便于真实环境下人机协作建造应用。

3 “虚拟—现实连续体”示意，改绘自Milgram和Kishino

Song 等梳理了智能建造领域MR 技术的研究现状，总结了包括“全息引导、数据共享、人机协作”等3 类应用情境[24]。其中，“全息引导”指在人机协作生产和建造环节，利用智能设备将信息与工序三维映射给施工人员，实现无纸化定制作业。如Mitterberger 等基于MR 技术开发了人机协同感知和信息实时共享方法，在Katerini 酒庄非标准化红砖立面实践中，实现了人机协作建造偏差小于5mm 以及建筑整体偏差小于10mm 的施工精度[25]；Jahn 等针对建筑学应用，研发了基于Rhinoceros Grasshopper 的MR 插件平台Fologram 和Twinbuild，应用于Steampunk Pavilion 等装配式建筑定制部件的预制生产和现场搭建环节[22]。“数据共享”旨在构建信息动态交互闭环，达到HCPS 融合的目的。如Forren 等研发了由手势控制非标转化结构设计和建造动态修正的方法[26]；Hahm等结合智能算法与MR技术，实现设计数据的实时优化[27]。“人机协作”将MR 技术延伸至工业机器人控制，提升人因工效和人机协作的安全性。如Kyjanek等利用微软HoloLens 与机器人合作完成了建筑木构件搭建任务[28]；Ostanin 等针对人工建造经验缺乏问题，提出了基于全息投影和手势识别的机器人控制方法，降低人机交互难度[29]。

2.2 MR 技术与BDT 理论的结合机制

先进制造业围绕“以人为中心”智能化转型已形成了HCPS 概念框架[30]。HCPS 理念基于大数据、物联网、人工智能等新一代信息技术，赋予人机混合智能系统认知和学习能力，强调人的中心地位[31]。笔者认为，先进制造业的HCPS 框架可为建筑业智能建造理论创新提供思路。以HCPS 理念为导向、BDT 理论和MR 技术相结合的人机协作智能建造包含“混合感知、人境交互、双向映射”等内容，其结合机制框架如图4 所示。首先，“混合感知”旨在通过逆向信息采集技术增强人对建造现状的认知，如利用点云采集和深度相机扫描等技术手段获取现状数据，为人的主观决策提供数据支撑。其次，随着人体动作捕捉、手势识别、语音识别等技术逐渐成熟，人与信息、物理系统之间将形成自然交互，省去冗余的信息输入和转译步骤，并逐渐发展为“人境交互”模式[32]。“双向映射”则是BDT 理论实践的关键，基于BIM 和逆向反馈信息解析数字模型与建造实体的差异，通过算法开发生成偏差修正方法将指令反馈给施工人员，对建造现状做出相应调整。

4 HCPS理念导向下MR技术与BDT理论的结合机制框架

5.6 极光之家建成实景

目前，基于MR 技术的智能建造研究多以数据变量与实验环境可控的实验室搭建为主，在实际建造工程中，全息投影清晰度、三维注册精确度等关键技术指标将会受到环境、人员组织、施工工序等因素的影响。在前期研究中，笔者发现数字模型全息投影会因捕捉码遮蔽或光线过强等原因发生位移，影响施工精度。因此，在MR 技术与BDT 理论主导下的真实建筑项目实践中，如何提高智能建造技术适配性与人机协作效率是亟待解决的技术问题。

3 极光之家的智能建造实践

极光之家是第三届中国国际太阳能十项全能竞赛参赛作品，由丹麦技术大学和苏州大学联合设计建造（图5、6）。项目秉承绿色、低碳的设计理念，以定制装配式建筑为目标，探索轻型结构、可持续材料、被动式构造及智能建造的结合方法。极光之家建造共耗时2 个月，为了提高工厂预制装配和现场搭建环节的施工效率，同时克服师生团队缺乏工程经验的客观局限，团队在设计—建造过程中充分结合了BDT 理论与MR 技术，确保各阶段建筑部件、设备的安装精度，简化人机协作建造步骤。

3.1 MR 技术实验平台

项目采用基于Rhinoceros Grasshopper 的参数化模型作为BIM 信息源，配合其MR 技术插件Fologram、智能移动设备iPad 和头戴式显示设备HoloLens 实现施工现场的人境交互。Fologram可将参数化模型中的几何信息直接转换为全息投影呈现在施工人员面前，通过HoloLens 设备的手势捕捉功能实现人与虚拟信息的自然交互。Fologram 允许用户自定义人机交互界面，可将图层“开关”按键、关键参数的控制器等按钮显示在HoloLens 设备屏幕上。使用者也可在现实环境中徒手构建虚拟几何体，作为空间标记实时同步到BIM 模型上。

笔者团队根据极光之家的构造、系统、设备分层次和步骤制定MR 技术应用环节与人机协作策略。智能建造团队被分为BIM 与MR 设备操作人员。前者负责监督电脑端的数据同步和逆向数据采集，后者在施工现场采用标记追踪（marker-tracking）方法拟合虚拟模型与现实环境。由于现阶段MR 技术尚无法实现虚拟与现实物件的完美重叠，仍需HoloLens 与iPad 操作人员根据现场情况进行微调。对此，团队基于Grasshopper 开发了极光之家各个系统与部品的参数化调控组件，便于MR 设备操作人员临场调试以提高施工精度。

3.2 优化：BDT 引导设计调整

作为低能耗被动房示范项目，极光之家的建筑构造和系统组成具有一定复杂性。由于项目前后施工团队更替，设备、部品供应商对空间需求的改变，致使建筑在深化和工厂预制阶段进行了多次设计调整。其中，为了验证现浇基础、支墩与建筑整体结构的契合度（图7 上），团队在设计深化阶段进行了数字模型与建筑基础实体的现场拟合实验：将极光之家主体结构、表皮部件的几何形态、空间信息、构造关系等以全息投影的方式置入场地（图7 下），验证建筑本体与现有基础的贴合度，并通过HoloLens 设备的深度相机以及FARO 激光扫描仪逆向采集建筑基础的现状数据用于辅助设计调整。

7 极光之家的结构模型和现场置入照片

在工厂装配环节，为了验证室内管线、门窗开洞、隔墙布置的精度，同样采用MR 技术进行了虚拟与现实对比实验。通过将新风机风管、水管、电路模型与结构装配完成的模块单元叠合比对（图8 上），可视化评估设备走线的合理性，检测系统、结构之间碰撞并调解潜在安装步骤冲突。此外，针对室内空间划分尺度与功能合理性，MR 技术可辅助团队进行沉浸式评估，如对主卧、卫生间和建筑设备间隔墙进行微调，在修改设计模型的同时对模块结构进行改焊，确保信息与物理系统同步（图8 下）。

8 极光之家的结构与系统模型与隔墙现场置入照片

3.3 建造：MR 技术实践应用

极光之家外立面的肌理图案意在表达极光色彩变幻，由上下翻转角度各异的竹纤维饰面板形成。建筑立面共包含2303 块饰面板，宽度均为100mm，分42 种不同长度，每层之间叠合20mm 防止雨水渗入。竹饰面板的翻转角度由控制曲线和日照辐射计算综合生成，在满足形式需求的同时尽量降低热辐射（图9）。由于立面竹饰面板的现场建造任务全由师生团队负责，为了在有限竞赛期内保证施工质量，图案的复杂程度需适当简化。因此，团队在设计深化阶段将竹饰面板的翻转角度减少至5 类，分别为0°、25°、40°和70°。图10 是非标准化定制立面的构造方法：通过斜面木垫块控制竹饰面板的翻转角度并与竖向幕墙龙骨相连。

9 立面图案控制线和日照辐射模拟结果

10 竹饰面板的构造细部

外立面竹饰面板的相关部件与极光之家的5 个箱体模块单元由苏州的工厂生产，在张家口张北县的竞赛现场完成组装。建造团队结合Fologram 和HoloLens 设备开展基于MR 技术的人机协作现场建造，通过建立局域互联网实现参数化模型与MR 设备的实时联动。建筑数字模型的现场三维注册通过捕捉ArUco 平面码实现，为避免因距离过远或遮蔽造成虚拟信息丢失，团队在每个施工立面上布置了3 个600mm×600mm 的ArUco 平面码，便于MR 设备的操作人员断点再连。针对HoloLens 等穿戴设备捕捉精度和显示清晰度受光线强度影响的问题，团队采用上述模型微调方法，将饰面板的旋转、水平和纵向偏移、颜色调整等参数控制面板投影在人机交互界面上，允许操作人员根据现场环境进行调整，优化全息投影的显示效果（图11）。

11 竹饰面板全息投影与建成现状对比

在非标准化立面的建造环节，首先由HoloLens 设备操作人员在幕墙龙骨相应位置标记竹饰面板的类型编号，便于其他施工人员安装斜角垫块。在此基础上，再由二者配合安装竹饰面板，并由iPad 操作人员实时监测安装精度，及时调整数字模型保证拟合精度，实现建造过程数字模型与建造实体的动态交互（图12）。极光之家屋顶太阳能板支架的现场装配工作也采用了上述人机协作智能建造方法。该支架结构由112 根胶合竹部件组成，但由于建筑主体模块拼接存在一定误差，对支架的定位和安装提出了挑战，需现场施工人员临场调整。一方面，在支架部件的吊装和定位环节，MR 技术给予现场施工人员全局视角，确保支架与建筑主体的相对位置准确（图13）;另一方面，在支架部件的拼装过程中，HoloLens 操作人员可引导其他施工人员进行二次切割、打孔、开槽等偏差修正操作，以适应主体的建造现状。

12 非标准化定制建筑立面的MR智能建造

13 MR技术辅助屋顶结构的定位（左）、吊装（中）与安装（右）

3.4 反馈：建造现状分析

BDT 理论导向下的智能建造实践旨在通过“信息—物理”系统之间实时交互实现数据更新，而结合MR 技术可将“人”融入此交互回路之中，形成人机协作感知、认知、决策的混合智能。在极光之家建造后期，团队采用FARO 激光扫描仪对建筑现状进行逆向点云采集，基于参数化建模工具将反馈数据转换为几何信息，与设计模型比对计算偏差。针对立面竹饰面板等易调节建筑部件，将偏差较大的面板单元位置反馈给现场施工人员，对建造现状进行调整优化。以建筑南立面的中间模块为例，通过处理扫描的点云数据生成逆向模型，计算现状模型与设计模型关键点距离差，生成建造现状的分析结果。图14 中绿色部分表示偏差距离小于10mm 的部分，蓝色和红色区域表示竹饰面板与设计模型存在正、负向偏差，误差在10～50mm 之间且颜色越深偏差越大。现场施工人员则根据分析结果进行设计修正，并对相应竹饰面板的垫块角度进行调整。极光之家土建部分的现场建造工作最终由14 名师生和4 名专业施工人员在12 天内完成。

14 南立面中间模块竹饰面板建造现状分析

4 结语

本文研究的主要成果和创新点包括：借鉴先进制造业“以人为中心”的HCPS 理念，提出基于BDT 理论与MR 技术的智能建造方法；结合定制装配式建筑实际项目，验证该方法引导下“优化—建造—反馈”流程的可行性，针对“混合感知、人境交互、双向映射”等技术重点提出解决策略，初步实现建筑虚拟与现实信息动态交互的人机协作智能建造。

数字建筑学如今正向以人机融合为主体，以信息、物理系统为客体的孪生观发展，人在这一过程中将扮演更重要的角色，更直接地参与机器辅助建造的感知、认知和决策环节[2]。装配式建筑与智能建造发展至今，已能实现既定环境和预设规则下的自动化、无人化自主建造，但在面对有情感偏向或意外偏差的复杂建造情境时难以实现自主协调。因此，笔者认为以交叉学科视角凝练BDT 理论在装配式建筑和智能建造领域的内涵，对发挥建筑实践中人与机器的“双智能”有重要意义，而结合MR 技术特性有助于智能系统整合人的作用、隐性知识和决策能力，增加“设计—建造”流程的弹性。