材料科学中的高性能计算*

王 涛，胡双林

上海超级计算中心，上海 230026

材料科学中的高性能计算*

王 涛+，胡双林

上海超级计算中心，上海 230026

高性能计算是研究材料的成分-结构-性质三者之间关系的有力工具。材料科学中的计算模拟主要使用密度泛函理论研究原子到微米尺度的材料，其并行实现方式主要分为并行k点、并行能带和并行平面波，具有较高的并行效率和大量的软件实现。并行k点方式具有较好的扩展性，但不适合于计算大晶胞体系；并行能带方式对于中小晶胞体系效率较高；并行平面波方式适合于大晶胞体系，但对全局通讯的依赖性较高，并行扩展性较差。充分利用最新的硬件技术，如加速卡、众核技术等，改写或重新设计材料科学计算软件已成为最近的发展趋势。

高性能计算应用；材料科学；并行计算

1 引言

材料科学是一个高度跨学科的领域，它主要研究原子尺度的基本物理化学性质与工程应用材料宏观性质之间的关系。这种关系不仅由化学成分决定，还与材料的微观结构密切相关。计算模拟是研究材料的成分-结构-性质三者之间关系的有力工具。材料科学研究的对象有各种不同的划分标准。根据化学键和电子结构的类型，材料可分为金属（无能带隙）、半导体、陶瓷、聚合物（有限能带隙）等。半导体与陶瓷的分界并不清晰，常常根据应用方向分类，比如同一种材料在电子和光电子应用中可被认为是半导体类，在力学应用中，可被称为陶瓷类。另一种方法是根据原子排布是否高度有序以及微观结构的尺度或规则性进行分类。比如完美的体晶（例如硅基微电子）、多晶（由多个单晶颗粒组成，尺寸范围从10纳米到几百微米）、无定形材料（如玻璃）、软物质（如聚合物）、复合材料（如生物材料）、纳米结构等。此外，材料还可以分为功能材料和结构材料。功能材料是指具有除力学性能以外的其他特殊物理性能（例如电学、磁学、光学、热学、声学、化学、生物医学等功能）的材料。结构材料是具有较好的力学性能（比如强度、韧性及高温性能等）用作结构件的材料。材料科学研究的主题一般包括化学有序和无序的块体材料、点缺陷（本征缺陷、杂质或掺杂）、线缺陷（位错）、面缺陷（内表面或外表面、同质或异质界面、晶界、层错）、准零维缺陷（沉积物、量子点）等。

对材料科学而言，计算模拟是必不可少的研究手段。目前，物理和化学领域的基础理论和算法实现已较为成熟，已经可以对材料进行较为准确的预言性计算研究。此外，很多材料很难或还没有被实验制备出来，因而无法测量性质；有些材料比较危险，对人体健康有害；有些材料需要了解其在某些极端条件（如高压、超低温、强磁场等）下的性质时，实验测量很难实现或耗费巨大。所有这些都凸显了计算模拟的重要性和必要性。

对材料的计算研究，可以从空间尺度上进行划分，也相应地发展了不同的计算模型和方法。在原子分子层次（埃到数百纳米的量级，10-10m到10-7m），人们可以了解材料的电子、光学、磁性、热学、力学等基本物理化学性质。在这个尺度内，量子力学效应显著，第一性原理计算和分子动力学是成熟而广泛应用的方法，蒙特卡洛方法也常有应用。在纳米到数百微米的尺度（10-9m到10-4m）范围内，分子力场和分子动力学是常用的工具，用来研究晶体缺陷（掺杂、位错、晶界等）、材料生长、有机分子自组装等物理化学现象。从微米尺度（10-6m）向上，由于体系粒子数增多，出现了新的物理作用机制，涌现出很多复杂的多体作用效应，因而需要新的理论和模型来描述。从这个尺度开始一直到宏观尺度，很多工程力学上的方法得以应用，从而对材料进行合适的模型化，屏蔽更小尺度的细节。一般意义上的材料科学领域处在原子到微米尺度，更大尺度的研究通常归属于工程或结构的范畴。此外，对材料的研究还包括对外场的响应以及动态性质，例如信息能源材料中的光电转换、各种压电和热传导效应、材料的生长过程、新的催化材料的寻找和性能优化等。对此类研究，计算模拟需要考虑时间尺度。一般声子振动在飞秒皮秒量级（10-14s到10-12s），蛋白质折叠在微秒到毫秒量级（10-6s到10-3s），腐蚀过程等在年（约107s）的量级。此类计算模拟一般采用分子动力学方法处理皮秒到微秒量级的动态过程。

材料的空间时间尺度划分并不是绝对的。要做成一个实际可用的材料，需要了解从原子层次到工业生产应用的尺度，材料的特殊性能是否能够真正保持。这通常需要进行多尺度研究，即把两个相邻的不同空间时间尺度连接起来。人们可以采用某种重整化的策略，即用第一性原理计算得到的参数直接提供给高一级的粗粒度方法使用，或者是用精确耗时的方法训练更高一级方法的参数，来进行快速大体系的计算，而又不太损失精度。另外一种有效手段是分而治之的策略，即将体系分成若干区域，重要的部分（如催化、光化学反应中心等）使用高精度的方法，外围相连的不太重要的部分（如酶催化反应中心以外的蛋白质、水分子等）使用低精度的方法。常用的方法包括QM/MM（quantum mechanics/molecular mechanics）方法、第一性原理/有效介质近似与有限元方法的结合等。

目前，计算材料科学已成为高性能计算应用特别广泛特别活跃的领域。该领域研究和应用的快速发展不仅归功于理论、算法和软件进步，更得益于计算机硬件能力的指数性增长，包括处理器速度和数目的增加、内存容量和速度的增长、大规模并行处理能力的提高等。随着计算机硬件和算法软件的发展，高性能计算机的计算能力飞速提高，材料科学应用领域也大步前进。越来越大体系的第一性原理计算，长时间尺度的分子动力学，更详尽精确的模型计算都成为可能。材料科学的计算结果也越来越接近现实，发挥了越来越大的作用。

2 计算方法

对一个现实材料的理论模拟，考虑到研究成本和时间等因素，在计算量相似的前提下，计算方法的选择与模型体系的尺度等因素密切相关。对于几个原子数的分子或团簇体系，人们可以使用高精度的量子化学方法，包括Hartree-Fock、MP2、CC、CI、MCSCF等从头算（ab initio）方法，研究小分子的物理化学性质、化学反应、势能面等，此类研究一般归于量子化学范畴[1]。对于几十个甚至几百上千个原子的体系，人们使用密度泛函理论（density functional theory，DFT）[2-3]进行模拟，并有大量的软件实现。对于几百到更大的成千上万原子的体系，则一般采用分子动力学方法[4]。这类方法直接以原子或离子为处理对象，使用实验或以上两类计算（从头算和DFT）中得到的参数来拟合力场数据，然后进行分子动力学模拟、蒙特卡洛计算、解析求解经验公式等。这类方法的计算精度依赖于力场的准确程度和可迁移性。另一种方法是使用分子力学和量子力学结合的QM/ MM方法[5-6]，将关键反应位置用高精度量子力学描述，环境用分子力学描述。此外，还可以不直接处理这么多原子，而综合运用以上各种方法得到的参数，计算某种大体系性质。例如合金理论自动工具包（alloy theoretic automated toolkit，ATAT）[7]综合使用第一性原理、蒙特卡洛方法、团簇扩展方法等研究合金性质。工业中的材料粒子数一般都在阿佛加德罗常数（6×1023）量级，这种体系含有大量缺陷、晶界等，不能近似成上述各种较小的模型。在现有的计算条件下，用分子力学或量子力学直接处理这么大体系的粒子是不现实的。通常做法是进一步抽象和模型化，使用晶界动力学、相场模型等理论方法，或者使用有限元、有限差分法等求宏观尺度下的平均性质。

比较狭义的高性能计算的材料科学应用，是指使用DFT和分子动力学方法的计算模拟。对于具有空间周期性的晶体体系，DFT方法是最好的选择，原因包括：（1）DFT只依赖于单粒子波函数，可以直接实现周期性；（2）使用平面波和赝势的DFT对于材料科学体系的典型尺度（几百个原子）具有较好的计算复杂性，其计算复杂性约为O(N2)～O(N3)，N为原子数目[8-9]。对于非常大的体系（超出1 000原子），单粒子波函数正交化，复杂度为O(N3)，是计算最耗时的部分。对于这样的体系，人们发展了各种线性标度（O(N)复杂度）的DFT方法、紧束缚近似方法（density functional based tight binding，DFTB）等[10-11]。此外，DFT方法还可与其他方法相结合，用于材料科学的计算模拟。例如，与分子动力学相结合，使用Bohn-Oppenheimer近似，将原子近似为在电子势能面上运动的BOMD（Bohn-Oppenheimer molecular dynamics）方法[12-13]；Car和Parrinello提出的把电子波函数作为虚拟质量和原子核运动同样处理的CPMD（Car-Parrinello molecular dynamics）方法等[14-15]。

2.1 DFT方法

密度泛函理论（DFT）是一种处理多电子问题的单电子近似方法，它既有较为准确的计算结果，又有较高的计算效率，因此得到了非常广泛的应用，尤其是在材料科学领域中。DFT的基本方程是Kohn-Sham方程（KS方程）。在DFT中，多电子相互作用被处理成与电子密度相关的交换相关项，一般来说，这个交换相关项是非局域化的。DFT中的关键问题就是处理这个交换相关项。尽管DFT在形式上是确切的，但在实际实现中，主要依赖于对电荷密度交换相关泛函的近似。人们提出了很多近似方法，包括纯密度形式的局域密度近似（local-density approximation，LDA）[16-17]和广义梯度近似（generalgradientapproximation，GGA）[18-19]（如PW91、BLYP、PBE96等），以及更复杂的杂化形式（如B3LYP、PBE0、CAM-B3LYP等）。材料科学中最主要采用的泛函是LDA和GGA，这两类泛函都具有较高的准确性和较好的数值性能。与Hartree-Fock类方法（可以通过扩展多粒子波函数来提高精度）不同的是，系统性地改进交换相关泛函尽管在理论上是可能的[20]，但在数值计算上是不可行的。因此，目前并没有判断泛函性能好坏的统一标准。通过实验数据来检查各种泛函的准确性和预测能力是非常重要的。

DFT方程原则上可以数值求解，但实际上都是用基组展开的方式求解。人们已经发展了大量的基组方法，这些方法可以分为两类，一类是局域基组方法，另一类是平面波方法，两类方法各有优缺点。在材料科学领域中，由于计算体系的典型尺度为几百个原子，使用平面波和赝势的DFT对于这个尺度具有较好的计算复杂性，从而平面波方法应用更为广泛。在平面波方法中，电子轨道用平面波基组表示，因此可以无缝地结合周期性边界条件（periodic boundary conditions，PBC），并使用快速傅里叶变换（fast Fourier transform，FFT）算法快速计算能量和力。但是平面波基组也有其缺点：不能充分描述原子核附近区域或原子实区域的电子波函数。价电子波函数在这个区域变化非常快，而在成键区域变化要慢得多。准确描述波函数在原子实区域的快速变化需要非常大的平面波基组。赝势平面波方法（pseudo-potential plane-wave，PSPW）可以很好地解决这个问题[21-22]。在该方法中，原子势能快速变化的原子实区域和实电子被去除或用变化平缓的赝势来伪装和替代。赝势产生的赝原子和真实原子具有相同的散射性质[23-24]。赝势的根本原理在于成键时波函数的变化仅仅在价电子区域，因而适当地去除原子应该不会影响体系成键性质的预测。投影增强型平面波（projector augmented wave，PAW）方法[25-26]是对赝势的进一步改进，改善了传统PSPW方法的缺陷。平面波是固体应用的天然选择，因为晶体易于用周期性边界条件来表示。在平面波中，分子轨道可以表示成：

其中，Ω是晶胞的体积。因为系统是周期性的，所以平面波展开必须仅由具有晶格周期性的平面波eiG·r构成，进而可以由下式限制：

其中，L是Bravais晶格矢量；G为倒晶格矢量。在典型的平面波计算中，平面波展开截断处的倒晶格矢量的动能低于预设的最大截断能量。

实空间和倒易空间表示的变换可以采用高效的FFT算法。在平面波理论框架中，KS方程一般使用共轭梯度算法或CPMD算法求解。

2.2 并行实现

目前，已有很多方式来并行实现平面波DFT程序[26-29]，一般包括3类并行方式：并行k点、并行能带、并行平面波。

对于许多固体计算来说，计算可以分布在布里渊区采样空间（并行k点）。k点并行的方式来源于所研究体系的平移对称性[30]。这种对称性也存在于一个给定k点的操作（不是全部），是独立于其他k点的相关操作的，因而具有天然的并行性。这种并行方式扩展性很好[31]，也很容易实现，但也有其局限性。首先，不是所有的操作都和k点有关，因而对扩展性有影响；其次，某些物理量，例如femi能级，不能很好地通过k点并行；再次，k点并行也会带来一定的通讯和同步开销；最后，也是最大的限制是，该方法的有效性和所研究体系的尺寸大小有关。随着晶胞尺寸的增加，计算收敛所需的k点数减少，因而该方法不能用于大晶胞的Γ点（k=0）计算。

另外一种方法是将单电子轨道在CPU上分发（并行能带）。这种方法的缺点是对角化和正交化等线性代数操作将需要传递大量消息，增加通讯负载。此外，对于非常大的截断能量（使用大量平面波来描述单电子轨道），该方法在节点内存较小的并行计算机上无法使用，因为每一个节点都必须存储完全的单电子波函数，因而该方法对于大晶胞的CPMD模拟是不可行的。但是，如果与RMM-DIIS（residual minimization scheme，direct inversion in the iterative subspace）方法[32]结合，该方法对于中等尺度晶胞或较小截断能量的计算具有较高的效率。

并行化CPMD方法的另外一种直接方式是空间分解单电子轨道（并行平面波）[26,28]。该方法用途广泛，容易实现，很适合对大的晶胞体系和截断能量进行CPMD模拟。此外，非局域赝势和正交化的并行实现也并不困难，它可以使用简单的全局回收操作来实现。这种方法的缺点是要使用并行的三维FFT，这种三维的FFT在使用的CPU或核数超过FFT网格点数开立方的时候，并行效率很差，无法扩展。因此，在设计平面波DFT并行实现时，需要注意：在计算的每个主要部分，能有效使用的CPU数是有限的，因为它依赖于对所有CPU的全局操作。因此平面波DFT的整个并行算法都应该设计成在计算中避免全局通讯。目前已有一些软件实现了这种做法[33-34]。

3 计算软件

由于计算模拟的重要以及计算方法的完善，材料科学领域内的高性能计算软件[8-9,33-49]（包括商业化和非商业化软件）非常丰富，并拥有大量的用户，是全球各大超级计算中心的主要应用软件。这些软件一方面及时跟进利用物理、数学等领域的最新研究成果；另一方面又充分利用高性能计算软硬件技术的发展，已形成一个开发活跃、功能丰富、风格多样、用户广泛的软件群体。下面以最为常见、使用最为广泛的几种材料科学高性能计算软件为例进行介绍。

VASP（Vienna Ab-initio simulation package）是研究材料电子结构比较成熟和广泛使用的软件包[8]。它使用密度泛函理论、平面波基组、超软赝势或投影缀加波方法以及周期性边界条件。该软件的优点包括：实现了多种密度泛函和方法，功能比较齐全；官方提供比较精确的赝势；文档比较详尽，和物理性质联系得较好；以源码包形式发布；结构优化能力较强；新的功能和方法实现比较快。缺点有输入文件较多，参数定义不够直观，前后数据处理相对比较麻烦等。但它有很多第三方的可视化软件和前后处理软件，如p4vasp、vaspview、VESTA等。

DMol3是Accelrys公司商业软件Materials Studio套件中的一个闭源的密度泛函理论组件[35]。它以数值原子轨道为基组，既可以进行全电子计算，也可以使用赝势，既可以使用周期性边界条件，也可以使用非周期性边界条件。它的优点包括：Materials Studio套件在Windows下的图形界面简单易用，参数设置友好；前后处理方便；计算速度较快，常用来做体系的预优化，也能够较快地寻找过渡态。其他特色包括可以考虑溶剂效应等。缺点有基组不够完备，磁盘使用随着并行进程数增加而增加等。

CASTEP（Cambridge sequential total energy package）是Materials Studio套件中另外一个密度泛函理论组件[36]，对英国学者免费提供源码发布。它使用周期性边界条件、平面波基组、超软赝势、模守恒赝势，还能够在计算时生成赝势。此外，它还可以计算芯能级光谱和核磁共振谱。

WIEN2K是使用密度泛函理论进行电子结构计算的软件包[9]，包含很多互相配合的模块，计算的前后处理结合比较紧密。它的特色是使用了完全势线性缀加平面波和局域轨道方法，是能带结构计算最精确的方法之一。它常被用来处理晶体的电子结构和磁性质、旋轨耦合等，但计算体系相对较小。

SIESTA（spanish initiative for electronic simulations with thousands of atoms）是一个比较流行的开源软件包[37]，开发目的是用线性标度的方法计算较大原子数的体系。它使用密度泛函理论、数值原子轨道基组和赝势方法，进行电子结构计算和从头算分子动力学模拟。它的优点包括参数比较简单易懂，能够进行较快的大体系计算，开源代码。此外，它还可以用非平衡格林函数计算电子输运。缺点则包括原子基组不是完备基组，收敛性能较差，精度不高，赝势库不够全面可靠，文档不够详细等。

QUANTUM ESPRESSO（open-source package for research in electronic structure，simulation，and optimization）也是广为流行的开源软件套件[38]。它包含电子结构计算、分子动力学（包括CPMD和BOMD）、声子和电子输运计算等很多组件，有很多较有特色的功能，常被用来计算电声相互作用、介电张量等响应性质，以及X射线吸收谱、电子激发等光谱性质。其优点在于开放友好的接口，新方法实现快，提供的算例比较有代表性。缺点有文档不够完备，参数意义较难理解，缺少可靠赝势库，速度较慢等。

ABINIT是一个较早实现准粒子计算GW方法和较早有投影缀加波方法的开源软件包[39]。它使用密度泛函理论、周期性边界条件、平面波基组和赝势方法，较多地被用来计算宏观极化、介电常数、电声相互作用等响应函数性质。此外，它还可以确定DFT+ U的Hubbard U值。缺点是文档组织、参数定义等都偏向于从开发者出发，对用户不太方便。

CPMD是一个从头算的电子结构和分子动力学的开源程序[40]。它使用平面波基组和赝势，既能计算孤立分子，也能计算周期性边界条件。它主要实现Car-Parrinello发明的将电子波函数和离子一起进行动力学模拟的CPMD方法，以及路径积分分子动力学（path integral molecular dynamics，PIMD）。该软件功能强大，能处理多种系综，也包含线性响应理论、含时密度泛函、QM/MM等比较新的方法。此外，它的并行效率较高，常被用于作为高性能计算机的基准测试程序。CPMD理论方法本身不太适合金属体系。

CP2K是一个开源程序[41]，可用于计算固体、液体、分子和生物体系，也支持图形处理单元（graphics processing unit，GPU）。它的特点是使用高斯和平面波混合基组，兼顾速度和精度。它包括密度泛函理论、密度泛函紧束缚方法、分子力场和QM/MM方法，可以用于X射线吸收谱、核磁共振等光谱计算。缺点是文档比较粗略，没有直接的技术支持。

LAMMPS（large-scale atomic/molecular massively parallel simulator）是使用分子力学和分子动力学方法研究材料最流行的开源软件[42]。它能够处理多种模型体系；实现了很多力场，包括描述化学键形成和断裂的反应性力场reaxff；支持多种系综，多种不同边界条件；并行效率高，并且支持图形处理单元和Intel Xeon Phi平台。它可以模拟很多实验过程，例如压痕、拉伸、溅射、沉积、晶界等，并且更接近现实的模型，较多地用来计算力学性质、化学反应等。邮件列表非常活跃，开发者和用户的交流直接快速，交流成果能非常快地体现在最新版的软件发布中。

4 结束语

目前，材料科学已成为高性能计算应用领域最活跃，成果最丰富的领域之一。在理论和算法方面，人们发展了大量的计算模拟方法并不断改进，解决了很多挑战性问题和限制，例如半导体材料的能带隙问题，基态计算绝对零度限制等。人们已经逐渐能够模拟现实空间尺度和时间尺度的材料。在计算硬件技术方面，材料领域的研究人员不断跟进最新硬件发展，改写或重新设计软件，以充分利用最新硬件特性[50-61]，例如利用ClearSpeed加速卡的大规模并行DFT软件[50-51]，VASP在GPU上的移植[59]，利用多核系统的特性加速DFT计算[60]等。随着计算资源的进一步丰富，计算能力的飞速提高，材料科学的高性能计算应用也将获得巨大进步。

[1]Jensen F.Introduction to computational chemistry[M].Chichester:John Wiley&Sons Ltd,1999.

[2]Dreizler R,Gross E.Density functional theory[M].New York: Plenum Press,1995.

[3]Parr R G,Yang W T.Density-functional theory of atoms and molecules[M].NewYork:Oxford University Press,1989.

[4]Larsson P,Hess B,Lindahl E.Algorithm improvements for molecular dynamics simulations[J].Wiley Interdisciplinary Reviews:Computational Molecular Science,2011,1(1):93-108.

[5]Friesner1 R A,Guallar V.Ab initio quantum chemical andmixed quantum mechanics/molecular mechanics(QM/MM) methods for studying enzymatic catalysis[J].Annual Review of Physical Chemistry,2005,56:389-427.

[6]Gao J,Truhlar D G.Quantum mechanical methods for enzyme kinetics[J].Annual Review of Physical Chemistry, 2002,53:467-505.

[7]van de Walle A.Multicomponent multisublattice alloys,nonconfigurational entropy and other additions to the alloy theoretic automated toolkit[J].Calphad,2009,33(2):266-278.

[8]Kresse G,Furthüller J.Efficiency of ab-initio total energy calculations for metals and semiconductors using a planewave basis set[J].Computational Materials Science,1996,6 (1):15-50.

[9]Blaha P,Schwarz K,Sorantin P,et al.Full-potential,linearized augmented plane-wave programs for crystalline systems[J].Computer Physics Communications,1990,59(2): 399-415.

[10]Bowler D R,Fattebert J L,Gillan M J,et al.Introductory remarks:linear scaling methods—preface[J].Journal of Physics:Condensed Matter,2008,20(29):290301.

[11]Bowler D R,Miyazaki T.O(N)methods in electronic structure calculations[J].Reports on Progress in Physics,2012, 75(3):036503.

[12]Cheng H P.The motion of protons in water-ammonia clusters[J].The Journal of Chemical Physics,1996,105(16): 6844-6855.

[13]Mao Keke,Li Lei,Zhang Wenhua,et al.A theoretical study of single-atom catalysis of CO oxidation using Au embedded 2D h-BN monolayer:a co-promoted O2activation[J].Scientific Reports,2014,4:5441.

[14]Car R,Parrinello M.Unified approach for molecular dynamics and density-functional theory[J].Physical Review Letters,1985,55(22):2471-2474.

[15]Kühne T,Krack M,Mohamed F,et al.Efficient and accurate Car-Parrinello-like approach to Born-Oppenheimer molecular dynamics[J].Physical Review Letters,2007,98(6): 066401.

[16]Ceperley D M,Alder B J.Ground-state of the electron gas by a stochastic method[J].Physical Review Letters,1980, 45(7):566-569.

[17]Perdew J P,Zunger A.Self-interaction correction to densityfunctional approximations for many-electron systems[J]. Physical Review B,1981,23(10):5048-5079.

[18]Perdew J P,Chevary J A,Vosko S H,et al.Atoms,molecules,solids,and surfaces-applications of the generalized gradient approximation for exchange and correlation[J]. Physical Review B,1992,46(11):6671-6687.

[19]Perdew J P,Burke K,Ernzerhof M.Generalized gradient approximation made simple[J].Physical Review Letters,1996, 77(18):3865-3868.

[20]Gorling A,Levy M.Exact Kohn-Sham scheme based on perturbation theory[J].Physical Review A,1994,50(1): 196-204.

[21]Austin B J,Sham L J,Heine V.General theory of pseudopotentials[J].Physical Review,1962,127(1):276-276.

[22]Yin M T,Cohen M L.Theory of ab initio pseudopotential calculations[J].Physical Review B,1982,25(12):7403-7412. [23]Bachelet G B,Hamann D R,Schluter M.Pseudopotentials that work:from H to Pu[J].Physical Review B,1982,26 (8):4199-4228.

[24]Hamann D R.Generalized norm-conserving pseudopotentials[J].Physical Review B,1989,40(5):2980-2987.

[25]Blöchl P E.Projector augmented-wave method[J].Physical Review B,1994,50(24):17953-17979.

[26]Bylaska E J,Valiev M,Kawai R,et al.Parallel implementation of the projector augmented plane wave method for charged systems[J].Computer Physics Communications, 2002,143(1):11-28.

[27]Clarke L J,Stich I,Payne M C.Large-scale ab initio total energy calculations on parallel computers[J].Computer Physics Communications,1992,72(1):14-28.

[28]Nelson J S,Plimpton S J,Sears M P.Plane-wave electronicstructure calculations on a parallel supercomputer[J].Physical Review B,1993,47(4):1765-1774.

[29]Wiggs J,Jonsson H.A parallel implementation of the Car-Parrinello method by orbital decomposition[J].Computer Physics Communications,1994,81(1/2):1-18.

[30]Ashcroft N W,Mermin N D.Solid state physics[M].Philadelphia:Holt Saunders,1976.

[31]Bush I J,Tomić S,Searle B G,et al.Parallel implementation of the ab initio CRYSTAL program:electronic structure calculations for periodic systems[J].Proceedings of the Royal SocietyA,2011,467(2131):2112-2126.

[32]Hamilton T P,Pulay P.Direct inversion in the iterative sub-space(DIIS)optimization of open-shell,excited-state,and small multiconfiguration SCF wave functions[J].The Journal of Chemical Physics,1986,84(10):5728-5734.

[33]Gygi F.Architecture of Qbox:a scalable first-principles molecular dynamics code[J].IBM Journal of Research and Development,2008,52(1/2):137-144.

[34]Canning A,Raczkowski D.Scaling first-principles planewave codes to thousands of processors[J].Computer Physics Communications,2005,169(1/3):449-453.

[35]Delley B.From molecules to solids with the DMol3approach[J].The Journal of Chemical Physics,2000,113(18): 7756-7764.

[36]Clark S J,Segall M D,Pickard C J,et al.First principles methods using CASTEP[J].Zeitschrift für Kristallographie-Crystalline Materials,2005,220(5/6):567-570.

[37]Artacho E,Anglada E,Diéguez O,et al.The SIESTA method: developments and applicability[J].Journal of Physics:Condensed Matter,2008,20(6):064208.

[38]Giannozzi P,Baroni S,Bonini N,et al.QUANTUM ESPRESSO:a modular and open-source software project for quantum simulations of materials[J].Journal of Physics: Condensed Matter,2009,21(39):395502.

[39]Gonze X,Amadon B,Anglade P-M,et al.ABINIT:firstprinciples approach to material and nanosystem properties [J].Computer Physics Communications,2009,180(12): 2582-2615.

[40]Andreoni W,CurioniA.New advances in chemistry and materials science with CPMD and parallel computing[J].Parallel Computing,2000,26(7/8):819-842.

[41]Hutter J,Iannuzzi M,Schiffmann F,et al.CP2K:atomistic simulations of condensed matter systems[J].Wiley Interdisciplinary Reviews:Computational Molecular Science,2014, 4(1):15-25.

[42]Plimpton S.Fast parallel algorithms for short-range molecular dynamics[J].Journal of Computational Physics,1995, 117(1):1-19.

[43]Metz S,Käestner J,Sokol A A,et al.ChemShell—a modular software package for QM/MM simulations[J].Wiley Interdisciplinary Reviews:Computational Molecular Science, 2014,4(2):101-110.

[44]Barbatti M,Ruckenbauer M,Plasser F,et al.Newton-X:a surface-hopping program for nonadiabatic molecular dynamics [J].Wiley Interdisciplinary Reviews:Computational Molecular Science,2014,4(1):26-33.

[45]Geudtner G,Calaminici P,Carmona-Espíndola J,et al.de-Mon2k[J].Wiley Interdisciplinary Reviews:Computational Molecular Science,2012,2(4):548-555.

[46]Bochevarov A D,Harder E,Hughes T F,et al.Jaguar:a high-performance quantum chemistry software program with strengths in life and materials sciences[J].International Journal of Quantum Chemistry,2013,113(18):2110-2142.

[47]Aprà E,Bylaska E J,Dean D J,et al.NWChem for materials science[J].Computational Materials Science,2003,28(2): 209-221.

[48]Skylaris C K,Haynes P D,Mostofi M C,et al.Introducing ONETEP:linear-scaling density functional simulations on parallel computers[J].The Journal of Chemical Physics, 2005,122(8):084119.

[49]VandeVondele J,Krack M,Mohamed F,et al.Quickstep: fast and accurate density functional calculations using a mixed Gaussian and plane waves approach[J].Computer Physics Communications,2005,167(2):103-128.

[50]Brown P,Woods C,McIntosh-Smith S,et al.Massively multicore parallelization of Kohn-Sham theory[J].Journal of Chemical Theory and Computation,2008,4(10):1620-1626.

[51]Brown P,Woods C J,McIntosh-Smith S,et al.A massively multicore parallelization of the Kohn-Sham energy gradients[J].Journal of Computational Chemistry,2010,31(10): 2008-2013.

[52]Yasuda K.Two-electron integral evaluation on the graphics processor unit[J].Journal of Computational Chemistry,2008, 29(3):334-342.

[53]Yasuda K.Accelerating density functional calculations with graphics processing unit[J].Journal of Chemical Theory and Computation,2008,4(8):1230-1236.

[54]Vogt L,Olivares-Amaya R,Kermes S,et al.Accelerating resolution-of-the-identity second-order Moller-Plesset quantum chemistry calculations with graphical processing units[J]. The Journal of Physical Chemistry A,2008,112(10):2049-2057.

[55]Ufimtsev I S,Martinez T J.Graphical processing units for quantum chemistry[J].Computing in Science and Engineering, 2008,10(6):26-34.

[56]Ufimtsev I S,Martinez T J.Quantum chemistry on graphical processing units 1.Strategies for two-electron integral evaluation[J].Journal of Chemical Theory and Computation,2008,4(2):222-231.

[57]Ufimtsev I S,Martinez T J.Quantum chemistry on graphical processing units 2.Direct self-consistent field implementation[J].Journal of Chemical Theory and Computation,2009,5(4):1004-1015.

[58]Ufimtsev I S,Martinez T J.Quantum chemistry on graphical processing units 3.Analytical energy gradients and first principles molecular dynamics[J].Journal of Chemical Theory and Computation,2009,5(10):2619-2628.

[59]Hacene M,Anciaux-Sedrakian A,Rozanska X,et al.Accelerating VASP electronic structure calculations using graphic processing units[J].Journal of Computational Chemistry, 2012,33(32):2581-2589.

[60]Woods C J,Brown P S,Manby F R.Multicore parallelization of Kohn-Sham theory[J].Journal of Chemical Theory and Computation,2009,5(7):1776-1784.

[61]Leang S S,Rendell A P,Gordon M S.Quantum chemical calculations using accelerators:migrating matrix operations to the NVIDIA Kepler GPU and the Intel Xeon Phi[J].Journal of Chemical Theory and Computation,2014,10(3):908-912.

WANG Tao was born in 1977.He received the Ph.D.degree in chemistry from University of Science and Technology of China in 2003.Now he is a senior engineer at Shanghai Supercomputer Center,and the member of CCF.His research interests include computational chemistry and high performance computing,etc.

王涛（1977—），男，江西九江人，2003年于中国科学技术大学获得博士学位，现为上海超级计算中心高级工程师，CCF会员，主要研究领域为计算化学，高性能计算等。

HU Shuanglin was born in 1982.He received the Ph.D.degree in materials science from University of Science and Technology of China in 2009.His research interest is materials science.

胡双林（1982—），男，江苏泰兴人，2009年于中国科学技术大学获得博士学位，主要研究领域为材料科学。

High Performance Computing in Materials Science*

WANG Tao+,HU Shuanglin
Shanghai Supercomputer Center,Shanghai 230026,China
+Corresponding author:E-mail:taowang328@hotmail.com

High performance computing is a powerful tool to understand composition-structure-property relationships in materials.Density functional theory is mainly used to study the materials from atomistic scale to micrometer scale in the computational simulation of materials science,and is parallelized overk-points,bands and plane wave in many computing softwares of materials science with high parallel efficiency.Paralleling overk-points can be scaled well but has poor performance for big unit cell.Paralleling over bands has better efficiency for small or middle size of unit cell.Paralleling over plane wave has better performance but poor scalability for big size of unit cell,and relies on global communication over whole CPU.Rewriting or redesigning computing softwares of materials science to take full advantage of the latest hardware technology such as accelerator or many-core technology has become a recent trend.

high performance computing application;materials science;parallel computing

10.3778/j.issn.1673-9418.1512053

A

：O641.12；O246

*The National High Technology Research and Development Program of China under Grant No.2014AA01A302(国家高技术研究发展计划(863计划)).

Received 2015-10,Accepted 2015-12.

CNKI网络优先出版:2015-12-22,http://www.cnki.net/kcms/detail/11.5602.TP.20151222.1017.004.html

WANG Tao,HU Shuanglin.High performance computing in materials science.Journal of Frontiers of Computer Science and Technology,2017,11(2)：185-193.