Benchmark test 札记——记录时间都去哪儿了

受领导师长委托，搜集撰写计算仿真领域benchmark test相关材料，此处摘录部分内容（去图），也记录下时间都去哪儿了。

         众所周知，计算分析已成为与理论建模、实验测试并列的现代科学不可或缺的研究手段之一，也是计算力学学者的看家本领。验证（Verification）与确认（Validation）在构建力学理论模型、发展数值计算方法和研制计算软件中具有举足轻重的地位，它关注对数学模型和算法计算机编码实施与计算过程正确性的验证，以及对最终计算结果正确性的确认，直接关系到计算力学的生命力。以验证确认计算力学方法模型和软件程序功能的具体目标出发，选用合适的基准算例（benchmark example），进行计算、分析、整理并形成算例档案的基准测试（benchmark test），最终建立验证确认算例测试矩阵的方法，是进行计算力学模型、方法与程序软件验证与确认的基本途径，它可以有效指导数值实施过程的勘误改进与模型方法性能的提升完善，在计算分析领域具有基础性地位。

        计算仿真的基准测试受到国内外力学与各工程界学者的广泛重视，在流体力学、固体力学、结构优化、结构断裂破坏、增材制造、地热开发等领域的数值计算中发展、搜集、确立了许多基准算例，如美国有限元方法学会、美国机械工程师协会ASME出版的系列基准测试指导手册。然而，与国外计算力学界相比，与成熟商业软件公司相比，长期以来，我国力学界尤其是计算力学界虽然重视基准测试、并在基准建设上取得了一定成果，然而我国计算力学领域对于基准测试的重视程度仍显得不足，未能形成各类问题的基准测试库，未能有效服务学术界和工业界广大群体，未能有效支撑我国结构分析等工业软件的发展。

        用基准算例验证与确认软件或简单算法，计算采用一个或多个专门问题，将计算结果与标准结果（高质量的实验数据或公认的计算结果、解析解）进行对比分析，并最终形成规范详实的基准测试全过程数据集，以确定计算算法和程序软件的性能优缺点以及计算的正确性和局限性。其中，基准算例需要满足以下基本特性：

    （1） 代表性Representativeness：基准测试算例应被学术界和工业界广泛接受认同

    （2）相关性Relevance：基准算例的测试性能指标应明确，或基准测试算例应反映问题的重要特性

    （3）可比性Comparability：应有实验数据、解析解或高精度数值解作为参照，并要求一类测试对象的测试结果可以公平比较

    （4）透明性Transparency：基准算例的数学描述要准确、参数指标应易于理解、定量指标明确

    （5） 可定量性Quantifiability：测试过程是易于实现的（测试的输入到输出之间是全程可达的），也要求测试结果可以量化表现；

    （6）可重复性Repeatability：要求按照测试过程获得的结果是相同的或处于可接受的置信区间之内，基准测试结果不受测试的时间、地点和执行者的影响的得以验证

    （7）成本低效益高Cost-effectiveness：基准测试经济可行

    （8）可扩展性Scalability：不同受测对象都能使用基准算例

---

    以下列举一些力学分支领域的经典基准算例，包括固体、流体、流固相互作用、拓扑优化、隧道力学等。

，，，，

---

        详细例举了一些典型国家、协会机构与软件商在基准算例建设上的相关工作。

1 国际大坝委员会（International Commission On Large Dams, ICOLD）数值模拟专委会(Computational Aspects of Analysis and Design of Dams) &中国大坝工程学会——大坝数值模拟专业委员会

        中国大坝工程学会与国际大坝委员会联系紧密。由国际大坝委员会举办，2019年9月9日至2019年9月11日在意大利米兰召开了第15届国际大坝委员会大坝数值分析基准研讨会（15th International Benchmark Workshop on Numerical Analysis of Dams），发布了。为促进我国数值模拟方法和技术的发展，2019年11月11日中国大坝工程学会数值模拟专委会举办了数值模拟进展与展望专题研讨会，确定计划于2020年11月举办中国大坝工程学会数值模拟专委会第一届数值分析基准研讨会，并参照第15届国际benchmark发布的主题，于2020年2月发布了三个benchmark竞赛问题（题目发布网址：http://damcenter.cn/nd.jsp?id=528），包括重力坝地震反应的数值模拟、土石坝地震反应的数值模拟和土堤变形破坏的数值模拟等主题，给出了考例详细的几何模型、材料、工况条件、计算要求等详细基本要求。 

2 美国有限元方法协会（NAFEMS），Benchmark杂志

        美国有限元方法协会（National Association for Finite Element Methods Society, NAFEMS）协会网址：https://www.nafems.org/。该协会通过线上线下的工程仿真会议学术与教育培训活动、发布工程仿真领域最新资讯、提供专业资源、出版专业杂志等活动，旨在成为公认的独立机构和交流工程仿真知识的平台，旨在成为在产品开发和提供创新解决方案时共享最佳的工程建模，分析和整体仿真实践的可信赖平台；旨在促进行业，学术界和政府组织之间的全球公正沟通与协作，以促进多学科工程仿真专业知识的最佳实践的发展；旨在开发并提供与快速发展的工程仿真技术相适应的培训和个人教育机会，最终能对产品质量，开发效率和安全性有重大影响。固体、流体多种基准https://www.nafems.org/publications/standards/standards-a-e/主办刊物：Benchmark（季刊，2002创刊），杂志旨在定期发表基准算例成果和工程仿真分析资讯。

3  美国航空协会AIAA和美国机械工程师学会ASME

    美国航空协会AIAAHE 美国机械工程师学会ASME具有多个领域系统的用验证确认标准文件，需要付费购买，包括：

AIAA G-077-1998 (2002): Guide for the Verification and Validation of Computational Fluid Dynamics Simulations |

ASME V&V 10; 2006: Guide for Verification and Validation in Computational Solid Mechanics |

ASME V&V 20; 2009: Standard for Verification and Validation in Computational Fluid Mechanics and Heat Transfer | Website

ASME V&V 30: V&V in Computational Simulation of Nuclear System Thermal Fluids Behavior |

ASME V&V 40; 2018: Assessing Credibility of Computational Modeling through Verification and Validation: Application to Medical Devices |

ASME V&V 50: Verification and Validation of Computational Modeling for Advanced Manufacturing |

ASME V&V 60: Verification and Validation of Computational Modeling in Energy Systems |

4 美国桑迪亚国家实验室Sandia

        美国桑迪亚国家实验室于2012、2014和2017年发布了三次桑迪亚断裂挑战赛(Sandia Fracture Challenge, SFC– A Double Blind Benchmark Assessment of Failure Modeling Methodologies)，采用实验和数值模拟双盲的方式开展固体韧性断裂破坏模拟方法的双盲基准测试挑战赛，第一次为准静态断裂、第二次为不同加载率下的韧性断裂、第三次为增材制造材料的断裂；在计算力学和断裂模拟领域产生了巨大的影响力，评估了现有方法技术的韧性断裂预测能力、真双盲环境利于参与团队评估各自方法的优缺点并提升完善、多团队共同独立研究同一韧性断裂问题提升了对于韧性断裂的认识理解。这一挑战过程有助于识别当前的困难，获取经验以避免未来努力中的某些陷阱，并促进世界各地大学、国家实验室和行业之间的合作。

项目负责人Brad L. Boyce于第六届国际材料与结构断裂失效计算建模会议（VI International Conference on Computational Modeling of Fracture and Failure of Materials and Structures，CFRAC2019）会议上系统报告了三次竞赛情况和经验启示、并介绍了剪切韧性断裂的模拟挑战和后续挑战赛设想。

第一次SFC竞赛专辑链接：http://link.springer.com/journal/10704/186/1/page/1

第二次SFC竞赛专辑链接：http://link.springer.com/journal/10704/198/1/page/1

第三次SFC竞赛专辑链接：https://link.springer.com/journal/10704/218/1

5 美国国家标准技术研究所(National Institute of Standards and Technology, NIST)-AM-BENCH

        美国国家标准技术研究所从2018年起举办增材制造基准测试系列会议(Additive manufacturing benchmark test series, AM-BENCH)，会议由矿物、金属和材料协会（The Minerals, Metals & Materials Society, TMS）承办，并向广大计算模拟人员持续提供可靠的增材制造基准数据、以验证确认他们的模拟，所有数据永久公开有效。原定2021年第二届会议因疫情将于2022年在马里兰地区举行。网址为：https://www.nist.gov/ambench。

AM-BENCH 2018的增材制造基准数据网址为：https://www.nist.gov/ambench/referencing-am-bench-data

6 Aalborg University, University of Tokyo, Gävle University and Syracuse University联合建立CFD BENCHMARKS网站

        网址：https://www.cfd-benchmarks.com  室内环境领域，通过基准试验对比预测结果，对CFD模型进行检验和调整是非常重要的。基准算例可以用于新程序的测试，湍流模型的选择，网格相关性的研究，数值格式和不同源代码的测试，以及不同边界条件的测试。

7 欧盟资助的EC FP7项目InnWind.Eu project支撑20MW风电机组建设（2012.11~2017.10）

        以超越当前最先进的10-20MW海上风力涡轮机和验证关键部件为目标，包括丹麦科技大学DTU、代尔夫特理工TUD、奥尔堡大学AAU、西门子Siemens在内的欧盟27个机构间在项目5年执行期限内共同合作，加速发展创新技术共同支撑20MW风电机组的建设工作，网址：http://www.innwind.eu/about-innwind。

在WP2 “Lightweight Rotor” Task 2.2 “Lightweight structural design”项目支撑下，开展了与风力涡轮机和叶片结构相关的基准模拟[4-6]。

8 欧盟委员会联合研究中心JCR

        欧盟委员会联合研究中心(European commission's Joint Research Centre, JRC, since 1957)是欧盟的科学和知识服务机构，其使命是在欧盟制定政策的过程中提供独立的政策支持。JRC与决策机构保持密切合作，致力于解决人类社会面临的主要挑战，同时通过开发新方法、工具和标准促进创新，并与各成员国、科技界和国际合作机构共享其研究成果。根据开放数据原则，在Science Hub上发布了每个条目的清晰描述的工具和数据库，网址为：https://ec.europa.eu/jrc/en。结构构件评估网络（NESC）成立于年1992年，旨在促进和管理国际合作项目验证结构完整性评估的全过程[7]。

9  欧洲科技研究领域合作中心(European Cooperation in the Field of Scientific and Technical Research,COST)

        COST资助了相关benchmark项目研究工作，Wald[16]系统开展了消防工程(fire engineering)领域的数值模拟研究，形成了从简单梁柱模型到复杂复合结构的力学、热学、热力耦合分析基准算例集合。

10 法国法国原子能委员会CEA-Saclay研究所

        为提升对于表面裂纹扩展穿透构件问题的分析能力，法国原子能委员会向相关研究人员提出了一个基准考例，即含非对称表面缺陷简单几何形状管道在循环弯曲载荷作用下的破坏问题，并提供了详细的实验数据，希望能够预测到裂纹产生、穿透构件的扩展过程和裂纹贯穿，并最终比较了多小组的计算结果，推荐了疲劳裂纹扩展分析的方法。

11 美国能源部地热技术办公室

        为提高分析增强型地热系统(enhanced geothermal systems, EGS)的方法自信和确认关键发展需求，美国能源部地热技术办公室资助了代码比较研究计划（Code Comparison Study, GTO-CCS），参与人员包括美国高校、公司和国家实验室等。发布了如下基准考例[17]：断层带的多孔弹性响应（渗透压力反馈）、向带有应力相关渗透率的多孔热弹性介质中注入冷水导致的随机定向裂缝的剪切模拟、流体注入后裂分张开和滑移模拟、不透水热岩中（EGS）中币形裂纹或热弹性孔的平面增强地热系统断裂、无定形二氧化硅在断裂带中的溶解/沉淀问题、含裂隙断层的热弹性多孔岩石中注水问题等，截至日期为2015年5月31日。

12 Abaqus提供了基准算例手册[19]，ANSYS Workbench也提供了验证手册[20]

        包含了静力应力应变变形分析、屈曲分析、动力应力应变变形分析、模态分析、稳态传输分析、瞬态热传导和热应力分析、欧拉有限元分析、电磁分析、渗流应力耦合分析、传质分析、声学分析、水下爆炸分析、土体分析、断裂分析等等，每个功能模块都提供相应验证算例，但不能算是严格意义上的基准分析.

13 Featflow软件的CFD benchmarking project基准计划

        Featflow这一有限元软件网页（http://www.featflow.de/en/benchmarks/cfdbenchmarking.html）提出了CFD benchmarking project，给出了典型的单向流、多相流、二维流固耦合、热力耦合基准算例。

14 生物力学、生物物理有限元软件FEBIO

        流固耦合基准算例：刚性球挤压弹性薄膜并挤出液体（https://febio.org/knowledgebase/elastohydrodynamic-squeeze-film-lubrication-using-fluid-structure-interactions/）

心肌力学基准算例：心室膨胀基准模拟（https://febio.org/knowledgebase/cardiac-mechanics-benchmark-problems/）

15 StressCheck有限元软件

        StressCheck 是美国ESRD公司开发的先进的断裂分析、复合材料铺层设计、复合材料连接分析、快速修复、可靠性分析工具。以P单元升阶谱有限元算法为核心，包含全面的分析功能，具有极高的求解精度，可实现对仿真分析的校核与验证（V&V）。StressCheck 拥有强大的复合材料细节分析能力，可快速实现分析模型参数化更改，完成各种复合材料结构细节设计的校验，网址为：https://www.esrd.com/，http://www.stresscheck.cn/。

---

 参考文献

（1）百度百科https://baike.baidu.com/item/%E5%9F%BA%E5%87%86%E6%B5%8B%E8%AF%95/5876292?fr=aladdin

（2）于沛. CFD软件的算例验证确认技术. 第十二届全国计算流体力学会议.2007：786-789.中国空气动力学会.

（3）Levine L, Lane B, Heigel J, Migler K, Stoudt M, Phan T, Ricker R, Strantza M, Hill M, Zhang F, Seppala J. Outcomes and conclusions from the 2018 AM-Bench measurements, challenge problems, modeling submissions, and conference. Integrating Materials and Manufacturing Innovation. 2020 Mar;9(1):1-5.

（4）Lekou DJ, Chortis D, Fariñas AB, Amézqueta C, Nuin I, Pavese C, Berring P, Branner K, Bottasso CL, Croce A, Gualdini F. Results of the benchmark for blade structural models, part A. 2013

（5）Failure analysis of FRP laminates by means of physically based phenomenological models, A. Puck and H. Schürmann, Composites Science and Technology 58 (1998) 1045—1067

（6）Guidelines for the determination of the parameters in Puck's action plane strength criterion, A. Puck, J. Kopp and M. Knops, Composites Science and Technology 62 (2002) 371—378

（7）Lauerova D, Taylor N, Pistora V, Minnebo P, Paffumi E. Benchmark Analyses for Fracture Mechanics Methods for Assessing Sub-Clad Flaws - NESC-VI Final Report. 2009

（8）Engineering Software Research and Development, Inc. (ESRD). StressCheck Benchmarks Guide Standard NAFEMS Benchmarks Linear Elastic Tests 2018

（9）Ethier CR, Steinman DA. Exact fully 3D Navier–Stokes solutions for benchmarking. International Journal for Numerical Methods in Fluids. 1994 Sep 15;19(5):369-75.

（10）Schäfer M, Turek S, Durst F, Krause E, Rannacher R. Benchmark computations of laminar flow around a cylinder. InFlow simulation with high-performance computers II 1996 (pp. 547-566). Vieweg+ Teubner Verlag.

（11）Verdier O. Benchmark of femlab, fluent and ansys. Univ.; 2004.

（12）Sze KY, Liu XH, Lo SH. Popular benchmark problems for geometric nonlinear analysis of shells. Finite elements in analysis and design. 2004 Jul 1;40(11):1551-69.

（13）Bayraktar E, Mierka O, Turek S. Benchmark computations of 3D laminar flow around a cylinder with CFX, OpenFOAM and FeatFlow. International Journal of Computational Science and Engineering. 2012 Jan 1;7(3):253-66.

（14）Simons DA. Numerical and analytical solutions to benchmark problems related to tunnel mechanics. LOGICON R AND D ASSOCIATES LOS ANGELES CA; 1993 Sep 1.

（15）Schiehlen W. History of benchmark problems in multibody dynamics. InMultibody Dynamics 2014 (pp. 357-368). Springer, Cham.

（16）Wald F, editor. Benchmark Studies: Verification of Numerical Models in Fire Engineering. CTU Publishing House, Czech Technical University; 2014.

（17）White MD, Podgorney R, Kelkar SM, McClure MW, Danko G, Ghassemi A, Fu P, Bahrami D, Barbier C, Cheng Q, Chiu KK. Benchmark problems of the geothermal technologies office code comparison study. Pacific Northwest National Lab.(PNNL), Richland, WA (United States); 2016 Dec 2.

（18）Valdez SI, Botello S, Ochoa MA, Marroquín JL, Cardoso V. Topology optimization benchmarks in 2d: Results for minimum compliance and minimum volume in planar stress problems. Archives of Computational Methods in Engineering. 2017 Nov 1;24(4):803-39.

（19）Systèmes D. ABAQUS benchmarks guide.

（20）Lawrence KL. ANSYS workbench tutorial release 18.2. SDC publications; 2017.