超大规模三维数据并行处理技术实现方法
2021-06-16毕姗姗刘军肖红燕
毕姗姗 刘军 肖红燕
(山东山大华天软件有限公司 山东省济南市 250000)
1 3D打印云平台的研究现状
近几年,国内外涌现了一大批基于“互联网+”的3D 打印云平台,主要分成两类:第一类是致力于提供3D 打印最新行业动态的3D 打印资讯平台,在国内,南极熊网在这方面具有代表性;第二类则是3D打印云服务平台,借助云端无界无形、联通包容的性质,解决了厂商分布分散、设备移动不便、设备购买价格昂贵等问题,整合了3D 打印产业上中下游资源,将下游的材料和中游的设备进行封装,使用户能够接触的到就是不同类型的3D 打印服务,用户将可以享受到更加便捷、更低成本的3D 打印使用体验。
在3D 打印技术上,国内的发展起步比较晚,虽然在近几年发展迅速,但在3D 打印云平台领域仍落后于国外,特别是面向大众的消费级3D 打印云平台,虽然国外已出现如3DPrinterOS 的3D 打印云平台,但其实现技术并不对外开放。
2 消费级3D打印云平台应用和制造模式探究
云制造作为一种新的生产模式,是大数据、云计算、互联网、智能制造和物联网等技术运用于工业制造领域并进一步向流通、消费等领域拓展的产物,是工业化与信息化深度融合。运用互联网技术和互联网营销模式,促进工业化与信息化深度融合,发展智能制造,促进制造业提档升级,这是云制造的重要内涵。智能制造是制造业向高端发展的集中体现,也是云制造的核心内容。
对于传统集中智能制造的模式来说,虽可以大规模生产,保证供应链的产量和配置,但在灵活应对客户需求方面却是令人担忧。而消费级3D 打印云平台的分布式智能制造的创新方式和模型架构,正好利用了大数据分析与运算,创新生产,整合资源,需求化地进行分配生产,具体有以下两种模式。
2.1 全价值供应链下的3D打印云平台分布式智能制造创新模型的建立
对传统集中智能制造模式做进一步改进与挖掘,设计出全价值供应链下的3D 打印云平台分布式智能制造创新模式,与前者相比该模式创新如下:
(1)3D 打印云平台分布式制造代替了大规模集中制造;
(2)系统化的生产物流转变成为最后一公里的产品配送物流;
根据表1可以看出:无论在前代过程还是在前代+回代过程,本方法均比LDU三角分解法和因子表法要快。在形成因子表的前代过程中,由于本方法利用了Y阵元素的对称性省去大量非对角元素的计算,因此比LDU三角分解法快约55%~70%,比因子表法要快约45%。在前代+回代过程,由于本方法利用E阵元素结构的特点省去大量零元素的无效计算,因此比LDU三角分解法要快约65%~75%,比因子表法要快约60%。
(3)零部件供应商和产品库存逐渐消失;
(4)通过搜索引擎和众包的推广,网络平台公众中的创新创业者可以充分参与企业技术孵化和创新研究。
2.2 跨界融合技术变革下的3D打印云平台分布式智能制造创新模式的建立
随着物联网、云计算、大数据挖掘等新兴技术产业深度融入各行业领域,企业的业务边界变得模糊不清,这种改变将深度影响高兴企业的生产与制造模式,甚至重构企业内涵和组织架构。在这一大变局下,企业势必将进行跨界融合,进行多领域多范围的创新合作,基于此,在全价值供应链模式的基础上再提出一种可跨界融合技术变革模式的 3D 打印分布式制造方式。该模式下,虚拟 VR 决策层替代了企业实际的决策管理层,而工商一体化的产品自制转变为外包产品制造模式。
3 消费级3D打印云平台的关键技术
针对深入落实创新驱动发展战略和制造强国战略中“拓宽社会资源与大众创业创新对接通道”的需求,以“互联网+3D 打印+创新创意”的消费服务新模式为主线,消费级3D 打印云平台旨在突破3D 打印直接建模、超大规模三维数据并行处理、3D 打印物体精准彩色上色、三维模型知识产权保护等核心关键技术。其中,针对消费级3D 打印应用的并发性高的特点,超大规模三维数据并行处理技术旨在攻克超大规模3D 数据并行处理资源预测及优化调度技术,实现处理请求与资源需求的快速匹配,形成3D 打印在线处理云服务平台基础软件框架,且具备万人以上同时在线的支撑能力。
图1
图2
4 超大规模三维数据并行处理技术的实现
在超大规模三维数据并行处理技术与工具的研究过程中,以超大规模三维数据的并行处理和切片技术为主线,需要先开展智能调度技术和彩色切片技术的研究,然后实现云服务平台基础架构的研究。其中,在智能调度技术方面,拟建立针对三维数据并行处理任务的性能预测模型,形成基于统计学习的智能化资源供给和调度方法,并引入应用行为感知的自适应负载评估与自动化容器编排技术,实现资源调节功能从基于规则的单向自动化处理模式转变为知识驱动的反馈自调节模式,充分提升软件过程的智能化水平,支持超大规模三维数据并行处理的持续高效运行环境。在并行彩色切片技术方面,彩色切片是实现设计模型向生产指令转换的重要桥梁,通过可打印性检查与修复技术确保模型可打印,通过纹理、微结构识别与切片,实现模型描述信息向打印路径信息的转换,通过并行切片技术,切实提高切片效率。最后,基于已有的云计算和云制造平台研究成果,构建高并发、弹性扩展、支持容器和容器编排的3D 打印在线处理云服务平台架构,实现在线建模、切片引擎、智能调度引擎、色彩校正等工具的集成,形成3D 打印在线处理云服务软件平台,为3D 打印创新创意平台应用示范提供基础架构和软件支撑。
4.1 彩色3D打印切片技术
彩色3D 打印切片技术的研究以技术流程为驱动,首先对模型的可打印性做检查分析,对影响打印的缺陷模型进行修复;其次计算初始切片路径,识别凹凸纹理、微结构,并修正初始切片路径;最后对切片路径赋予颜色信息,根据3D 打印描述数据规范,输出打印路径文件,驱动打印机进行彩色模型3D 打印。其实施路线图如图1 所示。
(1)对彩色3D 打印需求进行调研,明确数据转换的转换格式、精度、范围需求,调研3D 打印机对打印模型数据的要求,明确数据处理需求,调研模型可打印性检查修复需求,调研基础彩色切片技术需求,调研分析凹凸纹理识别、微结构识别以及打印路径修复的数据、精度、功能、性能等需求。
(2)对彩色3D 打印切片涉及的关键技术进行攻关。设计3D打印数据格式规范方案、可打印性检查与修复方案、彩色模型切片方案、凹凸纹理及微结构切片方案等。
(3)根据系统设计方案,对上述关键技术与算法模块开展研发工作。
(4)对研发的彩色3D 打印切片进行实际数据收集、测试;集成到任务3 研发的软件系统平台中,完成并行彩色3D 打印切片工具的研发和集成。
4.2 面向超大规模计算场景的智能调度并行处理技术
面向超大规模计算场景的智能调度并行处理技术以数据并行处理平台为基础,围绕云计算与数据并行处理技术,首先构建支持3D 打印任务提交与执行的基础云平台;然后基于运行时监测与日志数据对3D 打印任务进行性能建模,实现目标驱动的容量规划模型;其次面向超大规模计算场景支持3D 打印任务的智能调度,实现调度目标灵活可变的智能调度框架;最后基于机器学习预测3D打印任务的负载行为,实现资源在线优化机制。本研究的实施路线图如图2 所示。
(1)基于云计算技术与数据并行处理技术,实现基于容器虚拟化技术的面向3D 打印并行处理任务的基础云平台,支持3D 打印任务的并行执行,支持任务的完整生命周期管理,提供可视化操作界面、可扩展编程接口、系统监测日志、故障诊断工具等基础服务。
(2)对3D 打印任务进行预处理和模型分析,调研3D 打印任务不同于其他主流大数据分析任务的特性,研究资源需求分析的性能模型、资源细粒度调节机制和智能化资源调度策略,并据此建立容量规划模型、智能调度框架和资源在线优化机制。
(3)根据前期调研和分析结果,进行功能模块的设计与研发,实现上述路线图中的系统,在研发过程中设计单元测试用例以保障代码质量。
(4)对功能模块进行集成,在测试环境中部署系统,并通过版本的不断迭代更新完善整个系统。
4.3 3D 打印在线处理云服务平台架构研究
面向3D 打印在线处理过程中超大规模三维模型的并行处理、并行峰值时扩展新的计算资源以及超大规模并行调度等的需求,开展3D 打印在线处理云服务平台架构研究,基于已有的云计算和云制造平台研究成果,构建高并发、弹性扩展、支持容器和容器编排的3D 打印在线处理云服务平台架构,为3D 打印创新创意平台应用示范提供基础架构和支撑。
5 结论
消费级3D 打印云平台将有效降低3D 打印制造技术应用门槛,打通万众创新与3D 打印制造的对接通道。超大规模三维数据并行处理技术通过研究凹凸纹理、彩色信息、微结构等描述数据的识别和切片处理技术,实现描述信息向打印信息的转换;通过研究并行真彩色切片引擎,切实提升切片性能。通过研究3D 打印云服务中底层资源的细粒度管理控制功能,突破超大规模计算场景中资源智能调度和任务并行处理技术,支持基于在线学习的资源动态调节和负载均衡机制等,基于超大规模三维数据并行处理技术的实现,消费级3D 打印云平台将为搭建高并发、弹性扩展的3D 打印软件云平台架构提供技术基础。