导线
高能耗是数据中心的突出问题，探索绿色节能数据中心的建设、运输方案是所有数据中心工作人员共同的目标。 能源效率指标是数据中心能源消耗状况的客观评价能源消耗模型是数据中心能源消耗内在关联性的体现。 能效指标和能耗模式在指导高性能数据中心建设、优化资源调度方案、提高能源利用效率等方面具有重要作用。 本文介绍了能源效率指标和能源消费模式的内容，以期抛砖引玉，促进数据中心绿色能源的研究。
一、引言
近年来，互联网、人工智能、物联网等信息技术产业发展迅速，数据中心作为信息产业的基础支撑，建设速度加快，规模不断增大。 高能耗是数据中心必须面对的突出问题，备受政府、企业和社会的关注，节能减排和绿色数据中心的研究，不仅对企业的成本降低，对社会的可持续发展也起着重要的作用。 政府方面，为规范数据中心节能减排，国务院、工业和信息化部相继要求数据中心PUE优于1.5，北京、上海等地区也对数据中心的新建和改造提出了更严格的能耗要求。 企业方面，新能源、高效制冷、智能运输等绿色数据中心建设、运输等实践已经取得积极成效。
能耗状况的客观评价和设备间能耗相关性的研究一直以来都是数据中心绿色节能研究的基础和关键。 能效指标主要用于评估数据中心和相关设备的能耗状况，能够客观反映数据中心及其设备的能耗状况的能耗模型，是数据中心能耗理解的基础
二、能源效率指标
数据中心能效指标在新数据中心计划的设计和数据中心的运输管理等方面发挥着非常重要的作用目前，评价数据中心性能的指标已有数十种，PUE、ASHRAE 90.4、CADE、EEUE等指标主要评价数据中心的能效。 除了数据中心的整体能效指标外，还有许多数据中心设施、子系统等方面的能效评估指标，包括微模块、空调和服务器的能效指标。 从设备层面到系统层面的能耗评价指标，对指导数据中心技术的发展、设备的研发、绿色运输、能耗模式的优化等具有重要意义。 本文主要介绍PUE、微模块和服务器的能效指标，从整个数据中心、子系统、设备三个维度梳理能效指标。
(1)推动
2007年，绿色网格(The Green Grid )提出了PUE的概念，式(1)是PUE的定义式。
(一) ) )。
其中，Ptotal是数据中心的总耗电量，包括IT设备的耗电量、制冷耗电量、照明耗电量等； PIT是数据中心中IT设备的功耗。 数据中心耗电量中，IT设备耗电量占的比例越高，越少的电量应用于制冷、照明等，被证明为能源利用效率越高。 根据公式，PUE的值应该大于1，值越接近1，数据中心的能效就越高。
目前，PUE能效指标是业界公认的、影响范围广泛的评价指标，中国政府、企业、科研机构都将PUE作为评价数据中心能效的重要依据。 根据数据中心的特点和计算要求，根据PUE的计算公式，PUE的计算方法略有不同。 以谷歌为例，公式(2)是已公布的PUE的计算公式。
(二) ) )。
其中，ESIS表示向冷却装置、照明、办公室以及一些网络设备供电的设施变电站的能耗，EITS表示向服务器、网络、存储设备和机房空调(CRAC )供电的IT变电站的空调。 EF表示包含天然气和燃料的现场燃料的能量消耗，ECRAC CRAC表示能量消耗，EUPS表示由于不间断电源(UPS )对服务器、网络和存储设备的能量损失，ENet1表示电源装置(UPS )的能量损失根据谷歌官方的说明，用以上方法得到的PUE结果更为严峻。
)2)微模块的能效指标
微模块集配电、制冷、监控、照明于一体，可以快速安装和部署，是近年来数据中心领域的研究重点之一。 模块化数据中心由多个相对独立的微模块系统组成，微模块的功耗直接影响整个数据中心的功耗。 2018年11月，TGG (中国)发布《微模块产品PUE测试规范》，在标准方面规范了微模块的能效指标、测量环境、测量步骤等。 这里，微模块PUE的定义与数据中心PUE的定义相似，是微模块产品的总输入能耗(IMDC Total Energy )与微模块产品的IT设备能耗)之比。 为了统一测试条件，更客观地评价不同条件下微模块的能效指标，测试规范要求在焓差实验室进行测试。 测试规格还考虑了IT负荷对PUE的影响，将模拟室外侧温度分别为-5、5、15、25、35时、微模块的IT负荷为25%、50%、75%、100%时的PUE值设为最终通过式(3)，可以得到不同地区某负荷下的微模块的年平均PUE。 在此，PUEa~PUEe分别表示室外温度为-5~35时某负载下的PUE值； Ta~Tb表示某个地区
全年温度分布系数。
（3）
（3）服务器能效指标
研究机构和企业一直都在对服务器、存储设备、网络设备等进行能耗与节能的研究，以期可以制定评价标准、研发评测工具、推动节能技术发展。美国环境保护署（EPA）联合Intel、IBM、DELL等公司，于2009年发布能源之星服务器规范1.0版本，该规范成为业界较权威的服务器能效标准，并且规范在持续更新之中。在服务器电源方面，规范对电源效率和功率因素进行规范；在服务器方面，规范根据不同类型的服务器种类对空闲功耗情况提出要求，同时也对服务器的扩展组件功耗进行规范。
三、能耗模型建立过程
能耗模型建立过程中，应当遵循全系统、精确、快速、通用性、弹性、简单等原则。图1为能耗模型的建立过程，并将对能耗建立过程进行分析。
图1 能耗模型建立流程图
（1）能耗组成与关联情况分析
通过对数据中心总体架构、设备组成与分布、IT设备部署等情况进行分析，进而分析数据中心能耗组成、占比情况，并对影响能耗的因素进行逐一梳理；在得到数据中心设备能耗组成与环境条件后，对设备间、设备与环境间的关联和影响关系进行分析，为能耗模型选择建立基础。
（2）能耗模型选择
通过对能耗组成和关联情况的分析，并结合数据中心能耗数据采集和设备自动化控制等方面的因素，从数据中心总体、子系统、设备3个层级，综合选择适用于数据中心能耗建模、易于数据中心能耗优化的模型。同时，能耗模型宜根据数据中心实际情况和3个层级各自的特点，分别选择聚类、线性回归、深度学习等数据挖掘方法。
（3）能耗数据采集
数据是建模的关键，为实现能耗模型的建立，需使用传感器对数据中心实时运行数据进行采集。
（4）能耗模型训练与调优
模型和数据选择完成后，需要完成对模型的训练；在训练过程中，应当调整参数不断优化模型，并利用新生成的数据对模型的效果进行验证和改进。
（5）能耗模型应用
能耗建模的最终目的是通过能耗模型服务于数据中心能耗管理，提高能效。建模完成后可以对数据中心能耗情况进行预测，并为能效优化提供基础支撑。
四、能耗建模关键点分析
能耗数据采集和建模方法选择是能耗建模的关键，其中能耗数据采集主要完成温度、负载、IT设备、UPS、空调等环境信息与设备状态的实时数据采集；能耗建模是以外部数据、历史数据、实时数据等为基础，结合聚类、线性回归算法、非线性回归算法、深度学习等数学模型，从而构建准确的能耗模型；能耗模型主要应用于数据中心状态预测、资源调度优化等方面。其中，能耗数据采集、能耗建模是数据中心能耗模型建立的重要步骤。
（一）能耗数据采集
数据中心能耗模型的建立依赖于数据中心监控数据的获取，而实时能耗分析与预测、设备动态调控等都对数据中心实时监测有更高的要求。因此，数据中心能耗模型建立的基础之一是进行能耗数据的采集。能耗数据采集主要包括以下方面：
（1）IT设备运行与负载情况：包含服务器、交换机、存储系统等设备，可以通过监控和采集上述设备的CPU、内存、流量等信息，实现设备业务运行状态的监控。
（2）数据中心硬件设备能耗数据：包含IT设备、供配电设备、制冷设备、照明设备等，应当从不同层级、不同粒度上监控设备及模块的电流、电压等相关信息。
（3）非IT类设备状态信息：包含空调、UPS等设备，主要监测设备的负载率、运行设置等情况。
（4）数据中心环境监测数据：包含数据中心内部机房温度和湿度、外部天气环境温度和湿度等，其中制冷系统的送回风温度等也应是重点监控信息。
能耗数据采集是能耗模型建立的基础，全面而详细的数据，有利于模型建立、能耗预测等后续工作的开展。因此，数据采集应当覆盖数据中心的各个方面，目前国内外数据中心建设、运维公司都在数据中心安装了大量的传感器，以便于实时了解数据中心的各种状态。根据Google在数据中心方面公开的资料，目前其数据中心的几千个传感器，实时采集温度、耗电量、泵速、设备运行设定等数据。相对而言，国内数据中心目前整体数据监控与采集仍然粗放，为实现能耗模型建立、精细化管理等目标，首先需要建立完善的状态监控与数据采集系统。
（二）能耗建模方法
学术界与产业界提出了诸多能耗模型的建立方法，部分方案已经通过实践验证，并取得了较好的效果。本文将主要对聚类、线性回归、深度学习3种模型建立方式进行讨论。
（1）基于聚类的能耗模型优化方案
聚类是一种无监督学习的方法，可以在无任何先知前提下，根据物体本身特性对其类别进行划分。将聚类算法应用于能耗模型，可以快速简单地发现不同能耗状态之间的关系，从而对能耗状态类别进行划分，并制定每种状态下的类别优化策略，实现能耗模型建立与能效优化的目标。
利用聚类进行能耗模型的建立与能效优化的过程中，首先应选择合适的聚类算法；然后调整参数实现对采集数据的类簇划分；再选取各个类簇中心，以其为研究基础，探讨能效优化的方法。在数据中心运维管理实践中，已经采用了聚类的方法。以聚类作为构建能耗模型的方法，优点是简单易行，但存在精度不高、优化方案工作量大等方面的问题。
（2）基于线性回归的能耗模型优化方案
回归分析通过建立模型，研究自变量与因变量之间的关系。在变量关系分析、预测、时间序列问题研究等方面具有重要的作用。回归分析又可分为线性回归、逻辑回归等不同的方法。而多元线性回归模型是能耗建模分析中常用的方法，其主要讨论因变量与多个自变量之间的线性关系。公式（4）为多元线性回归模型的计算公式。
（4）
线性回归不仅可以对数据中心总体能耗模型进行拟合，同时也应用在服务器、制冷系统等设备和子系统的能耗模型建立上。相对聚类，线性回归能够更加精准的建立能耗模型，但是当能耗变量较多、数据量较大时，模型建立将变得困难。
（3）基于深度学习的能耗模型优化方案
随着数据中心建设水平的不断提高，一方面监控设备的采样能力不断增强，采集数据的种类和数量都不断增多；另一方面，数据中心设备的自动化水平不断提高，集中化的精细式管控成为可能。多样与全面的数据，让构建更加优秀的模型成为可能，集中化的设备管控为数据中心能耗的降低提供基础；然而，与之而来的就是更加复杂的能耗模型构建，该模型需要根据每个数据中心的不同特点，建立设备间的相互影响关系，以及不同环境下设备的实时调控方式。
上述问题对传统能耗模型构建方式、传统设备调度策略带来了挑战。于是，各个机构开始尝试利用深度学习建立模型，并制定数据中心资源调度优化规则。通过深度学习训练CNN、RNN等神经网络，实现构建数据中心能耗模型，形成资源调度策略的目标。根据Google的公开资料，目前其已经将深度学习应用于数据中心能耗的管理。图2为Google应用深度学习管理能耗前后的PUE变化，应用深度学习后，制冷能耗减少40%，PUE降低约15%。利用深度学习能够通过处理大量的数据，建立更加复杂的模型；但与此同时，也对能耗数据采集、自动化控制等方面提出了更高的要求。
图2 Google深度学习应用前后能耗对比图（来源：Google官网）
五、结束语
能效指标是评估数据中心能耗情况的标准；能耗模型是数据中心能耗理解与能效优化的基础。本文从能效指标、能耗模型建立过程与关键技术等方面，全方位梳理了数据中心能效指标与能耗模型的内容。通过以上内容的梳理，不仅可以对数据中心能耗情况进行评估和建模，还可以在结合能效指标和能耗模型的基础上，进一步通过对数据中心资源的调度，实现节能减排的目标。
相信随着数据中心设备管理与控制技术的发展，以及能耗优化理论与技术的提高，数据中心产业将持续绿色健康发展，为互联网、物联网、大数据、人工智能等技术与产业的发展提供基础支撑。
作者简介
个性的小天鹅
中国信息通信研究院云计算与大数据研究所数据中心部高级项目经理，开放数据中心委员会（ODCC）新技术与测试工作组项目经理。
lmdnht
中国电力科学研究院有限公司信通所分析评估室咨询工程师。中国电力科学研究院信息通信研究所支撑国网公司互联网部技术服务组组长。
本文刊于《信息通信技术与政策》2019年第2期
《信息通信技术与政策》
由工业和信息化部主管、中国信息通信研究院于1975年主办的《电信网技术》（月刊）自2018年3月正式更名为《信息通信技术与政策》。《信息通信技术与政策》刊载内容在覆盖传统电信领域的基础上向信息、通信和ICT领域延伸。本刊物重点解读行业政策、标准，报道国家重大科研项目成果及业内最新最热产品与技术解决方案。
主要栏目：专题、专家论坛、产业与政策、发展策略、泰尔检测、产品与技术方案。
投稿邮箱：ictp@caict.ac.cn
中国信通院最新推出专业学习服务小程序—“信通微课”，方便您随时随地学习行业领先知识，欢迎体验！
扫描识别下方二维码，或从公众号首页导航栏进入“信通微课”小程序。
校 审 | wxdmn、 珊 珊
编 辑 | 凌 霄
”
