SPEC亚洲峰会:如何设计好的基准测试

2016-11-09 17:27:00 作者:佚名 分类 : 新闻中心

  2016年10月27日至28日,SPEC(Standard Performance Evaluation Corporation,标准性能评估组织)于北京举办了SPEC 2016亚洲峰会,这也是SPEC组织自1988年成立以来首次在中国举办的峰会。

  我们现在已经知道,SPEC是一个非营利性的第三方组织,旨在制定、修改以及认证一系列计算系统应用性能评估的标准。SPEC制作的这些基准测试以及性能指标可以广泛适用并真实反映出客户的实际计算环境。

  SPEC亚洲峰会:如何设计一个好的基准测试  在大会上,SPEC组织专门用了双倍的议题时间来介绍如何设计一个好的基准测试(Designing a Good Benchmark),要看懂这个话题,我们首先要知道:什么是基准测试。议题的讲师是SPECpower的架构师Jeremy Arnold,不过,谈及的内容是很具有通用性的,并不仅仅对应于SPECpower测试。

SPEC亚洲峰会:如何设计一个好的基准测试

  SPECpower的架构师Jeremy Arnold

  什么是基准测试

  SPEC亚洲峰会:如何设计一个好的基准测试  基准测试,特指英文中的Benchmark,意思是指一个或者一套用来获知一台或者一套计算机系统的性能指标的软件程序,它产生的原因就源于我们想知道这些计算机系统的性能指标,知道了这些性能指标可以用来干什么呢?可以用于营销,产品研发,或者研究,等等。

SPEC亚洲峰会:如何设计一个好的基准测试

  基准测试的划分

  SPEC亚洲峰会:如何设计一个好的基准测试  毫无疑问,基准测试有很多种,测试的性能指标也各有不同,如图所示,横轴上越往右,基准测试越来越和实际应用接近,同时,在纵轴上可以看出,它也越来越复杂,这个划分大致应该是按照基准测试程序所处的层次划分,最低的Synthetic代表“原语”级别的层次(大致上是用来测试如CPU、内存等硬件的比较纯粹的性能指标以及底层操作系统的性能),Kernel是内核调用(可以测试驱动程序、操作系统的效率),Component应该是操作系统组件或中间件,或者系统中的某一个子系统(如CPU子系统、存储子系统),Application这是应用程序本身,System的意思这是整套计算机系统。

  不同层次的基准测试可以让我们获得同一个系统不同的参数,SPEC组织著名的SPEC CPU基准评测软件可以在从Component级别到Application的级别告诉我们足够多的数字,但在虚拟化云计算当中,我们就需要SPEC Cloud IaaS这样的System级别的测试才能给我们带来准确、全面的了解。

  对基准测试的“评估”——什么才是“好”的基准测试

  SPEC亚洲峰会:如何设计一个好的基准测试  对于一个指定的基准测试,如何评估它的好坏?这有些类似与“基准测试的性能指标”,Jeremy Arnold对此有非常好的阐述,下面有一定的文字编辑:

SPEC亚洲峰会:如何设计一个好的基准测试

  第一个是相关性(Relevance),也就是说我们在做基准的时候,选择到底什么样的基准时,我们要确保它和我们要做的工作是有相关性的,也就是说我们所选择的基准是能够给我们提供工作所需要的信息。

  SPEC亚洲峰会:如何设计一个好的基准测试  第二个是可重复性(Reproducibility),就是我们在运行基准的时候,同一个环境下运行多次同一个基准测试,我们会希望得到共同的结果,如果每一次不同的运行结果是不一样的。这就意味着不是一个好的测试,不具有可重复性。

  SPEC亚洲峰会:如何设计一个好的基准测试  第三是公平性(Fairness),这在基准测试的指标中是至关重要的,也就是说我们不必希望这基准测试在某一些服务器的系统上性能好,在某另一些的服务器上性能不好。我们希望各个不同的服务器上和供应商上都能够有同样的表现。

  SPEC亚洲峰会:如何设计一个好的基准测试  第四个是可验证性(Verifiability),指的就是说基准测试本身是可以验证其是否准确的,我们从而可以知道这个基准测试时候具有准确性,很多测试在这一点上其实比较缺乏。

  SPEC亚洲峰会:如何设计一个好的基准测试  最后一个指标是可使用性(Usability),通俗地说,就是要简单方便,也就是说要用户友好,我们要能够不那么困难就可以正确地使用这些基准测试,从而能够获得我们想获得的测试数据。

  基准测试的组成——如何设计一个好的基准测试

SPEC亚洲峰会:如何设计一个好的基准测试

  基准测试当中最重要的组件之一,就是工作负载(Workload)。工作负载是基准测试最重要的特征,基于什么样的工作负载,决定了我们的基准测试可以得到什么类型、什么样的测试结果。

  其次是一个测试的可用性(Harness),这个词比较模糊,大致是指这个基准测试的“可依赖性”、“可使用性”,可用的基准测试才有意义,才可以得到有意义的测试数据以供进一步的分析研究。

  第三个是结果报告(Reporting),也就是说我们运行基准测试之后得到的一个结果,一个基准测试的报告。报告当中一个很重要的部分就是具体的数字和指标,这具体的数字和指标我们是从系统当中测试得出的。一般来说,报告还应当包含一些额外的详细信息,关于比如说一些额外的性能参数以及其它的一些系统的行为等等,它们可以让我们更好地了解测试的系统,以帮助进一步的分析。

  第四个是文档(Documentation),包括用户指南之类的说明,一个良好的文档对于测试顺利进行的作用是毋庸置疑的。

  第五个是运行规则(Run Rules),这是非常重要的,一个基准测试遵循了什么样的标准,什么样的规范,制定了什么样的规则,这些对公平性非常重要,而且这也应该是公开的。运行规则还有另外一个含义就是指定的测试可能使用了不同的规则,那么也需要列出。

  第六个是Peer Review,同行审查,原本是学术界常用的一个术语,在工业界就不那么常见了,因此,并不是所有的基准测试都会具有这个审查。对于SPEC组织的基准测试而言,所有上传的测试结果都会经过委员会的检查,确保是否遵循了运行的规则,审查之后才会公开发表。这种方式对提高测试结果的可用性以及去掉一些恶意测试结果是很有用的,很大程度上也是必须的

  最后一个是Fair Use Guidelines,公平使用指南,外国人比较讲究这个,但这也是基准测试必须讲究的。某种程度上这是一种约束或者约定,确保测试结果可以以一种公平、合理的方式来得到使用。

  综上所述,按照这些原则就可以设计出“好”的基准测试。显而易见的是,SPEC组织的基准测试就是按照这些规则来设计的,本次大会还花费了比较多的时间来讲解SPEC CPU测试,有机会我们将会对其进行更详细的介绍。

芥末视频

最近更新
科普

科普图集
带着朋友和机器人上月亮散步

带着朋友和机器人上月亮散步>>详情

邮件订阅

软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯,最新的软件技巧,最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中,与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊!
网络周刊
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧,帮助网管答疑解惑,成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一,主要关注x86服务器,RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析,让您第一时间了解服务器行业的趋势。
存储周刊
比特存储周刊长期以来,为读者提供企业存储领域高质量的原创内容,及时、全面的资讯、技术、方案以及案例文章,力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
安全周刊
比特安全周刊通过专业的信息安全内容建设,为企业级用户打造最具商业价值的信息沟通平台,并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比,比特安全周刊运作模式更加独立,对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事,为企业级用户打造重点突出,可读性强,商业价值高的信息共享平台;同时为互联网、IT业界及通信厂商提供一条精准快捷,渗透力强,覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展,全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托,汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台,并持续提供丰富的资讯和服务,探讨信息化建设,推动中国信息化发展引领CIO未来职业发展。
IT专家网
IT专家新闻邮件长期以来,以定向、分众、整合的商业模式,为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容,包括IT新闻、评论、专家答疑、技巧和白皮书。此外,IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊
X周刊是一份IT人的技术娱乐周刊,给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍,同时用户还能参与我们推荐的互动游戏,给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。