基于Hadoop的产品制造过程的碳足迹核算研究
2018-03-07，，2，，，
，，2，，，
(1.浙江理工大学机械与自动控制学院，杭州 310018；2.浙江科技学院机械与汽车工程学院，杭州 310023)
0 引 言
随着全球各个国家工业化进程的不断推进，大量二氧化碳的排放引发的各种环境问题逐渐显现出来。为避免人类生存环境进一步恶化，各国不约而同地将低碳发展、节能环保作为发展绿色经济的准则，越来越多的国家相继制定了碳排放法规，以减少那些能耗大的制造型企业的碳排放[1]。碳足迹核算作为碳排放规章制度的衡量标准，对其研究具有重要的意义。
目前已有大量学者对产品制造过程碳足迹核算进行了研究。孙良峰等[2]通过追踪零部件各个生产环节的碳排放，构建了复杂装备的碳足迹核算模型，但对于零部件的各个生产环节的碳排放并未给出相应核算方法。刘琼等[3]根据产品制造过程与被加工产品之间的对应关系，确定产品制造过程的碳足迹总和，在碳足迹核算时，大多采用了车间的经验数据或者采取平均数据。Fang等[4]研究了设备切削速度、产品加工时间与设备功率之间的关系建立碳排放核算模型，但是在核算碳排放时，只考虑了设备运转时的电能消耗，忽略了冷却液等其他设备的碳足迹核算。张翠侠等[5]在核算产品碳足迹时，以产品各加工工位为一个碳排放单元，假设某些生产条件成立，给出了每个加工工位的碳排放核算公式。以上产品制造过程碳足迹核算基本上都存在所需基础数据缺乏的问题，这导致核算结果存在一定的误差，同时在碳足迹核算时，大多没有给出具体的数据处理方法。
本文针对以上机械加工车间产品碳足迹核算问题，将采集到的大量实时加工数据，按照以产品自身为核心的存储策略存储到HDFS(Hadoop分布式文件系统)中，解决碳足迹核算基础数据缺乏问题；在碳足迹核算时，根据产品制造过程中的碳排放特性，利用MapReduce分布式计算进行数据提取和碳排放总量核算，核算出产品不同加工阶段的碳足迹，再将各阶段核算结果累加到一起，从而得到产品整个制造过程的碳排放。运用Hadoop技术对提高产品制造过程的碳足迹核算效率和准确度具有重要意义。
1 制造过程数据采集与预处理
1.1 数据采集
为准确测定产品制造过程的碳足迹，需要全面采集车间实时加工数据，这些数据包括机器的运行数据、加工工艺信息、加工产品自身数据等。将需要采集的数据分为机器运行数据、加工工序信息、产品自身信息、其他信息四大类型，确定其采集周期为f。所要采集的主要数据项如图1所示。
图1 主要采集数据
1.2 数据预处理
因数据直接来源于产品制造过程，实际生产环境、机器设备性能的差异，无法保证数据的洁净度以便于后期测定碳足迹。采集到的数据可能是不准确、含噪声的，这些异常数据不仅占用存储空间，而且对后期碳足迹测定造成不同程度的影响。因此在将数据存储到HDFS之前，需要对数据进行预处理[6]。通过该步骤，可以使存储到HDFS中的数据符合规范，提高存储效率，同时也为后期碳排放核算做好准备。预处理工作主要有以下两步：
a) 数据清理
数据清理主要是发现采集数据中的一些异常数据，这些问题数据包含空缺值、噪声数据等。发现此类数据之后，可以通过修补、移除等方法来进行处理。通常数据处理包含定义错误类型、搜索错误数据、纠正错误数据、记录错误点和修改结果五个步骤。
b) 数据归约
数据归约的目的主要是为了尽量减少存储空间和保证数据的完整性，同时使用删除冗余或聚类等技术来压缩数据。例如在此阶段完成按照存储策略对数据的打包处理。
根据图1概括的采集数据项，并结合上述预处理技术，可将采集的数据项分为实时数据及固定数据。其中机器运行数据是实时数据，该类数据是时刻变化的，数据量较大，其他三大类数据基本为固定数据，不需要对其进行预处理。因此在数据预处理时主要考虑实时变化的数据，实时数据及固定数据的预处理流程如图2所示。
图2 数据预处理流程
2 数据存储与计算
2.1 存储策略
在产品制造过程中，采集到的加工数据类型繁杂且数据量庞大，在将数据存储到HDFS时需要对数据进行分类整理并建立合理的存储策略。结合产品制造过程碳排放的特性，建立了以产品为核心的存储模型。规定每个被加工产品在加工前会优先生成一个唯一ID，在该产品全加工周期中所有采集到的数据都会关联该ID，这样不仅能合理存储数据，也能保证在碳足迹核算时按照产品ID进行数据提取。本文综合以上情况确定数据的存储策略：
a) 所有数据都汇总到文本文件中存储，例如txt格式的文件，数据记录时间需要具体到秒；
b) 机器实时运行数据存储到一个文件，文件中每条数据的格式为：产品ID-机器ID-详细数据-记录时间；
c) 产品加工工序信息存储到一个文件中，文件中每条记录格式为：产品ID-工位信息-工艺参数-记录时间；
d) 产品自身信息存储到一个文件夹中，文件中每条记录格式为：产品ID-产品物理信息-流水信息-记录时间；
e) 其他基础信息存储到一个文件，文件中每条记录格式为：产品ID-详细数据-记录时间。
2.2 数据存储
由于产品制造过程数据的不间断采集，最终产生的数据规模比较大，因此将采集数据存储到HDFS中。HDFS是一种主/从模式的存储系统结构，可以由单台服务器扩展到上千台服务器[7]，其系统结构如图3所示。
NameNode(名称节点)服务器负责管理和维护HDFS目录系统并控制文件的读写操作，它作为整个存储系统的主机对存储的数据节点进行管理，负责对文件系统树等元数据信息进行维护和管理并提供统一的文件命名空间。DataNode(数据节点)服务器负责存储数据。在HDFS中，文件是分块存储的，这些数据块被分散存储在不同的DataNode节点上，每个数据块又可以复制两份或多份。
图3 HDFS分布式文件系统的结构示意图
2.3 MapReduce分布式计算
在碳足迹核算模型的基础上，为提高大量生产数据的处理效率，采用MapReduce编程模型[8]。MapReduce属于Hadoop的分布式计算框架，当Client发起任务请求时，主节点JobTracker负责Map、Reduce任务的调度及控制，从节点TaskTracker负责任务的执行。MapReduce有两个阶段：Map阶段和Reduce阶段。两个阶段都以键值对形式作为输入和输出。Map阶段将任务分割成多个更小的任务，由多个服务器阶段分别处理，此阶段的输入是经过预处理的数据。Map阶段完成后，将任务结果汇总到reduce函数进行处理。MapReduce运行示意图如图4所示。
图4 MapReduce运行示意图
3 案 例
目前产品碳足迹核算边界有四种[9]，分别为从摇篮到坟墓、从摇篮到大门、从大门到大门、从大门到坟墓。本文讨论的碳足迹是在制造过程中的碳足迹，属于“大门到大门”系统边界。依据物料衡算法[10]，产品制造过程碳排放核算需要确定各个系统消耗的各种能源，然后分别乘以对应的碳排放因子，最后累加即可得到总的碳排放量，常用资源的碳排放因子[11]见表1。
表1 各资源碳排放因子
3.1 基础数据存储
按照2.1节确定的存储策略，根据HDFS的存储原理，在将采集数据保存到txt文件中后，需要不断将最新的txt文件存储到HDFS文件系统中，数据存储的流程如图5所示。HDFS数据存储首先由HDFS提供的客户端开发库Client定时发起存储请求，当确认请求成功时，NameNode会建立或刷新关于txt文件的元数据并为Client分配对应的DataNode，然后开始以流的方式写入第一个DataNode，该DataNode写入完成之后，再将数据传递给PipeLine中的下一个DataNode，直至最后一个DataNode完成存储。该过程涉及到DistributeFileSystem、FSDataOutputStream等程序类的操作。在存储容量上，HDFS能够将多台电脑通过集群搭建在一起，从而实现存储容量的平滑扩容。
图5 数据存储流程
3.2 建立碳足迹核算模型
以轴类加工车间阶梯轴加工为例量化分析其粗车加工阶段的碳足迹，该批次轴总数为n。根据轴加工实际碳排放特性，确定需要考虑的几种碳排放源，主要包含机床运转电能的碳排放Wlathe,i、工件去除原材料的碳排放Wmass,i以及生产辅助材料的碳排放Wadit,i。因此轴在粗车阶段的碳排放Wp为：
(1)
3.2.1 机床电能的碳足迹核算
机床电能的碳足迹核算主要分为机床主传动系统的碳足迹和机床辅助系统的碳足迹，辅助系统的碳足迹核算主要是喷切削液以及灯光照明。该部分碳排放量为：
Wassist,i=αe(P1·t1+P2·t2)
(2)
其中：P1、P2分别为冷却液泵和照明灯的功率，t1、t2分别为冷却液泵和照明灯开启的时间，αe为电能的碳排放因子。
下面分析机床主传动系统的碳排放量。如图6所示，根据机床能耗特点可获得机床主传动系统输入功率变化折线图。根据图6可将主传动系统的碳排放量分为机床启动预热部分、机床切削加工部分、机床空载部分。
图6 设备运转功率折线图
a) 机床启动预热部分
机床启动是一个非常复杂的过程，功率波动很大，核算结果有一定偏差，但本次核算是一批轴加工的碳排放，只需计入一次启动过程，所以对最后结果影响不大。核算时需要先确定机床启动边界以确定启动时长，启动边界可确定为机床转速从零到稳定在目标转速的过程[12]。在该启动时长上对功率进行积分即可算得开机预热的碳排放为：
(3)
其中：Pi为Ti时刻的机床输入功率，Ts为启动时长。由于数据采集周期为f，其值足够小。所以在核算启动过程碳排放时，可以采用离散求和的方式算得碳排放量，其原理如图7所示。对功率在0～t区间的积分可转化为n个区间相等且数值为f的长方形面积的和。
图7 离散求和原理图
根据离散求和的原理，对机床功率再0到Ts区间的积分即可转化为将采集到的离散功率点求和再乘以机床启动总消耗时间Ts，所以式(5)可转换成：
(4)
其中：n为启动阶段总共采集到n个功率值，Pm为第m个离散点的功率值。
b) 机床切削加工部分
阶梯轴粗车过程的碳排放量，除去开机预热过程，即为单个产品的粗车制造过程，对该过程求积分可得产品i的碳排放为：
(5)
(6)
c) 机床空载部分
机床空载有两种情况，分别为工件切换过程的空载和加工同个工件调整刀具位置的空载。调整刀具位置的空载产生的碳排放已经包含在机床粗车轴部分，因此该部分只需考虑工件切换过程的空载。需要确定的数据为机床空载功率Pu和切换工件所需时间。空载过程中机床主轴不受力，所以Pu基本为定值，切换工件所需时间跟工人操作熟练度有关，该值可以根据前后两个阶梯轴的加工结束时间和加工开始时间相减得到。
Widle,i=αePu(Ts,i+1-Te,i)
(7)
其中：Pu为机床空载功率，Te,i为第i各阶梯轴的加工结束时间，Ts,i+1为第i+1个阶梯轴的加工开始时间。当i=n时，Widle,i为零。
3.2.2 工件材料损耗的碳排放量
工件原材料消耗量可以通过去除材料的质量进行核算，则生产该阶梯轴原材料产生的碳排放核算公式为：
Wmass,i=(m1-m2)αm
(8)
其中：m1为工件i加工前质量，m2为工件i加工后质量；αm为加工轴材料的碳排放系数。
3.2.3 冷却液的碳排放量
加工车间内目前没有冷却这些消耗品的监测系统，同时这些消耗品使用周期较长。所以在核算时，可以根据车床使用规范，获得这些消耗品一个周期的时间及更换一次的容量，再平均到每个产品上。
(9)
其中：αl为冷却液的碳排放因子，L为更换一次冷却液的总量，Tl为一个使用周期的时间长度，以秒为单位。
静力计算模拟了坝体分层填筑与蓄水过程，在静力计算基础上进行动力计算。动力计算对传统的Hardin-Drnevich模型进行了改进，以反映围压对材料动力特性影响[10-12]，模型基本表达式如下：
将式(2)、(4)、(6)—(9)代入式(1)中即可得粗车阶段该批次阶梯轴总的碳排放量：
Wmass,i+Wadit,i)
(10)
3.3 碳排放核算
运用MapReduce计算同批次阶梯轴总的碳排放量时需要经过两个阶段，分别为数据提取阶段和碳排放核算阶段，因此建立两个MapReduce程序，碳排放核算数据流如图8所示。
图8 碳排放核算数据流
在第一个MapReduce程序中，Map程序根据阶梯轴的ID提取各个分片中该阶梯轴的相关加工数据并得到output文件，各阶梯轴的加工数据会按照ID排序依次存储在output文件中。当Map阶段完成之后，JobTracker根据output文件内容分配任务给各个reduce函数，reduce函数会将同一个阶梯轴的加工数据汇总在一起。第二个MapReduce程序用于核算同批次轴粗车阶段的碳排放总量，该阶段首先会根据第一阶段的结果文件，JobTracker对其进行分片后分配给map函数进行计算，该map函数会计算各个阶梯轴粗车阶段的碳排放总量并得到output文件，再由JobTracker根据阶梯轴ID分配一定数量的单个阶梯轴碳排放结果给各个reduce函数，由reduce函数计算得出同批次阶梯轴总的碳排放量。依据3.2节所述阶梯轴碳足迹核算模型以及碳排放核算数据流，编写代码进行粗车阶段的碳足迹核算，即可得出同批次阶梯轴的碳排放总量。MapReduce进行碳排放核算的核心代码块如下：
//获取机床辅助设备的碳排放量
int getAssit(int elefactor,List
int assitresult=0;
for (int i=0;i assitresult += assitPowList.get(i)*assitTimeList.get(i); } return assitresult*elefactor; } //机床运行过程中的碳排放量 int getLathe(int elefactor,List int latheresult=0; for (int i=0; i atheresult+=startList.get(i)*startTime; } for (int i=0; i latheresult+=productList.get(i)*productTime; } for (int i=0; i latheresult+=idleList.get(i)*idleTime; } return latheresult*elefactor; } //轴材料损耗产生的碳排放量 int getMass(int elefactor,int prequlity,int aftqulity) { return elefactor*(prequlity-aftqulity); } //冷却液的碳排放量 int getAdit(int aditfactor,int capcity,int cycleTime) { return (capcity/cycleTime)*productTime*aditfactor; } 由于碳足迹核算所用数据包含了零件质量等物理数据、冷却液使用量及周期等数据，可以准确得出工件去除原材料的碳排放以及生产辅助材料的碳排放；同时包含了机床加工过程中的实时功率等数据，并使用离散求和的方式得出机床运转电能的碳排放，考虑了加工过程中的机床功率波动情况。相比文献[2—5]使用经验公式得出机床功率或采取平均算法等其他不精确的核算方法，本文提出的方法可以更精确地核算出产品制造过程的碳足迹。在批量产品的碳排放核算时，按产品ID分割Map任务同时核算并将结果汇总到一起，即可得出粗车阶段的总碳排放量，实现了碳排放量的自动核算，同时MapReduce并行计算技术使计算效率得到了很大的提高。 本文结合产品制造过程碳足迹核算的研究现状，提出将产品制造过程中的生产数据存储到Hadoop分布式文件系统中，并将存储的实时加工数据运用到碳足迹核算中，提高了碳足迹核算的准确度。利用Hadoop集群技术及其分布式计算核算产品制造过程的碳排放，将碳足迹核算模型转变成具体代码，给出了具体的数据计算方法。最后以阶梯轴加工为例，结合制造过程的碳排放特性给出了碳足迹核算模型，依据碳足迹核算模型编写程序，再提取具体加工过程数据传入程序中得出粗车阶段的碳排放量，在大数据量的提前下也能保证计算速度。由于本文只是讨论碳足迹核算与Hadoop结合的可行性，并未对核算结果进行直观展示，在后面的研究中，可将核算结果存储到MES系统中，实现整个车间的碳足迹监控。 [1] 东艳.全球气候变化博弈中的碳边界调节措施研究[J].世界经济与政治,2010(7):65-82. [2] 孙良峰,裘乐淼,张树有,等.面向低碳化设计的复杂装备碳排放分层递阶模型[J].计算机集成制造系统,2012,18(11):2381-2390. [3] 刘琼,田友全,周迎东,等.产品制造过程碳足迹核算及其优化问题[J].中国机械工程,2015,26(17):2336-2343. [4] Fang K, Uhan N, Zhao F, et al. A new approach to scheduling in manufacturing for power consumption and carbon footprint reduction[J]. Journal of Manufacturing Systems,2012,30(4):234-240. [5] 张翠侠,刘从虎,张明玉,等.机械加工车间碳足迹监测与预警方法及关键技术[J].计算机集成制造系统,2015,21(10):2677-2686. [6] 刘莉,徐玉生,马志新.数据挖掘中数据预处理技术综述[J].甘肃科学学报,2003,15(41):117-119. [7] 栾景超,马志强,李昊甦,等.Hadoop分布式文件系统资源管理器的设计与实现[J].科研信息化技术与应用,2014,5(1):41-52. [8] 杨震宇.基于MapReduce框架下的数据挖掘方法研究[J].中国高新技术企业,2017(4):8-10. [9] Spatari S, Betz M, Florin H, et al. Using GaBi 3 to perform life cycle assessment and life cycle engineering[J]. The International Journal of Life Cycle Assessment,2001,6(2):81-84. [10] 张肖,向晓东,刘汉杰,等.钢铁行业碳排放量核算方法的实证性研究[J].工业安全与环保,2012,38(6):86-88. [11] 梁国熙,梁耀彰,陈海寿,等.香港中小企业碳审计工具箱[EB/OL].(2010-02-01)[2017-08-18]. http://www6.cityu.edu.hk/aerc/sme/images/sme_chi.pdf. [12] 刘飞,刘霜.机床服役过程机电主传动系统的时段能量模型[J].机械工程学报,2012,48(21):132-140.4 结 语
