这样也行？raid6(raid6利用率多少)

绿色存储（Green Storage）技术是指从环保节能的角度出发，用来设计生产能效更佳的存储产品、降低数据存储设备的功耗、提高存储设备每瓦性能的技术。

 

1. 背景信息技术的迅猛发展使得数据存储量呈爆炸式增长，数据量的激增又导致数据中心的规模不断扩大，能耗成本日益突出数据中心的年能源消耗成本已成为继人力成本后的第二大成本支出，而且在随后的几年里将会持续增加。

高能耗不仅带来运营成本的增加，而且容易引起设备故障最新结果表明[2]，约50%的设备故障和环境过热有关每当温度上升15 ℃，则磁盘的故障率提高一倍绿色存储（Green Storage）技术是指从环保节能的角度出发，用来设计生产能效更佳的存储产品、降低数据存储设备的功耗、提高存储设备每瓦性能的技术。

绿色存储技术的核心是设计运行温度更低的处理器和更有效率的系统，生产更低能耗的存储系统或组件，降低产品所产生的电子碳化合物绿色存储技术涉及所有存储分享技术，包括磁盘和磁带系统、服务器连接、存储设备、网络架构及其他存储网络架构、文件服务和存储应用软件、重复数据删除、自动精简配置和基于磁带的备份技术等可以提高存储利用率、降低建设成本和运行成本的存储技术，其目的是提高所有网络存储技术的能源效率。

2. 国内外研究现状2.1 磁盘存储能耗测量方法如何准确测量存储系统的能耗直接影响到对磁盘存储系统能耗评价的准确程度磁盘存储系统的能耗测试主要有下面两种方法:实际测量和模拟仿真在实际应用中，如大规模磁盘系统，实际测量难以实施，所以, 通过磁盘仿真的能耗测量是普遍采用的测试方法, 绝大部分能耗研究都采用了模拟仿真的方法。

普林斯顿大学J.Zedlewski等人于2003提出了一个磁盘能耗模型和性能仿真环境Dempsey[1]它在不需要磁盘制造商提供详细的磁盘技术参数的情况下, 可通过精心设计的实验测试方法来自动获取磁盘性能和能耗参数, 因此这个能耗仿真器具有很强的应用性。

由于磁盘阵列已成为当前磁盘存储系统的基本组成部分, 因此目前对磁盘存储系统的能耗研究工作大多集中在磁盘阵列上, 而众多磁盘存储系统的仿真器是基于类似于Dempsey 这样的仿真模型扩展而成的2.2 磁盘存储系统节能

2.2.1 采用低功耗存储器利用低功耗高性能的芯片或者存储器，比如SSD和PRAM、STTRAM等新型存储器，替换换数据中心中现有的高能耗、低效率芯片或磁盘，提高能耗使用效率的同时提高了数据中心的整体性能。

比如利用Flash 来做Disk 的缓存, 进而减少DRAM 和磁盘消耗的能量, 同时大大提高存储系统的性能Flash介质以其很高的随机读性能优势弥补了DRAM 和磁盘之间的性能差距, 同时其低能耗的特征也大大降低了系统对DRAM的需求, 可以让磁盘更长时间地处于低能耗的状态,以达到节能的目的。

但是，SSD以及PRAM等新型存储器在使用寿命、硬件成本等方面还存在不足Szalay[2]在数据密集应用环境下采用低功耗CPU与固态硬盘构建出高效能的数据处理平台Lim 等人[3]采用低功耗机器，并采用共享内存与SSD缓存的方法，提高了近两倍的能耗利用率。

2.2.2 磁盘动态转速（DPRM）Carrera等人和Gurumurthi等人[4]针对服务器负载下空闲周期较短而使磁盘转入待机状态的问题, 提出动态转速磁盘(DRPM)的概念, 即将磁盘的盘片旋转速度分为多个速度等级, 在系统负载较轻时使磁盘运转在低速旋转状态;而当系统负载变重时, 将磁盘相应调整为高速旋转状态。

实验表明,动态转速磁盘模型可有效地降低磁盘所消耗的能量, 且系统轻负载时的节能效果优于系统重负载时的节能效果2.2.3 盘内并行(Intra-Disk Parallelism）为了进一步挖掘磁盘内的并行性, S.Gurumurthi等人提出了Intra-Disk Parallelism 模型

[5], 即通过增加物理硬件的方式, 将传统磁盘中寻道、旋转、数据访问等串行执行的多个步骤并行执行, 从而提高单个磁盘的I/O 性能该模型将磁盘的并行性分为4 类:即Dk, Al, Sm, Hn,分别表示磁盘栈级别、磁头臂级别、磁盘面级别和磁头级别的并行。

2.2.4 减少磁头定位开销从磁盘的工作原理可知, 磁盘的性能和能耗均受制于磁头定位延迟, 让磁盘尽可能进行顺序访问是减少磁头定位开销的最有效的方法Huang 等人[6]为数据创建多个副本并将其存储在文件系统的空闲块上, 通过I/O 调度的方法使用户请求尽可能地顺序访问磁盘上的数据, 从而既提高了用户性能又有效地降低了能耗。

实验表明,该方法使得每个请求的平均能耗降低了40%～71%2.2.5 磁盘阵列节能由于仅针对单个磁盘的节能技术有其较大的局限性, 加之磁盘阵列在存储系统内的广泛应用, 因此大多数节能技术的研究是在磁盘阵列这个层次上进行的。

EERAID5[7]和RIMAC[8]充分利用了奇偶校验的特性来进行请求转换, 从而提高系统的性能和能效eRAID[9]侧重于建模分析, 用吞吐量和响应时间两个目标函数对能耗策略进行了评测Hibernator。

[10]是在多个不同转速的磁盘之间进行数据的重布局, 从而最大可能地将更多的磁盘切换到更低速的状态MAID[11]和PDC[12]从负载特征入手, 主要利用文件访问频率的差异性来将负载集中到少量的磁盘上, 区别仅在于其实现的方式不同, MAID 增加了额外的缓存磁盘, PDC 则通过文件的迁移完成了热点数据的集中。

PA/PB-LRU[13]通过利用每个磁盘不同的负载特征, 对标准LRU 进行了修改和完善, 使其成为有效的缓存算法PARAID[14]充分挖掘和利用存储系统内空闲的存储空间, 将部分磁盘上的数据复制到其余的磁盘上, 从而关闭部分磁盘达到节能的目的。

2.2.6 系统级节能技术Diverted Access[15]通过将存储系统内的冗余数据分开存储, 使请求仅定向到部分磁盘上而达到节能的目的Diverted Access 充分利用分布式存储系统中的数据冗余特性(如多副本机制)重定向数据请求, 将用户请求聚集在一部分存储节点上, 从而可以让剩下的存储节点处于低能耗状态。

Write Off loading[16]通过在多组磁盘阵列组成的存储系统中, 将要写到待机磁盘上的部分数据重定向到其他磁盘阵列组中的活动磁盘上, 以尽可能地延长磁盘待机时间, 并降低磁盘启停的切换频率。

对于写请求比较多的应用来说, Write Offloading 技术的节能效果比较明显Pergamum[17]则是针对归档存储系统的节能技术Pergamum 在每个节点添加一定量的NVRAM 来存储数据签名、元数据以及其他一些较小规模的数据项, 从而使延迟写、元数据请求以及磁盘间的数据验证等操作均可以在磁盘处于待机状态的情况下进行。

系统级的节能技术主要通过优化配置数据、添加诸如NV RAM 等特殊存储设备来存储某些特定的数据等技术而实现节能与单个磁盘级以及磁盘阵列级的节能技术相比较而言, 系统级的节能方法更多地利用新的软硬件技术, 从全局的角度上进行资源的优化配置。

因此这是未来节能技术的研究热点之一另一个研究热点就是针对特殊应用采用特殊的节能技术, 如科学计算、Web 应用(PARAID)等这些应用的访问特征比较明显, 比较容易挖掘, 从而可以指导系统级优化来达到节能的目的。

随着计算机处理能力的快速发展, 采用数据挖掘技术来优化磁盘存储系统的能耗也是一个发展方向2.3 软件层节能2.3.1 重复数据删除重复数据删除技术是一种数据缩减技术，消除分布在存储系统中相同文件或数据块，保留惟一的数据实例。

重复数据删除技术可以高效地压缩存储空间的开销，缓解由于数据的过快增长带来的系统扩容压力，减少数据的传输量，提高存储资源和网络带宽的利用率，这不但可以缩减存储系统的构建成本，而且能够降低系统所消耗的空间、电力供应、冷却等造成的运营成本。

研究发现，通过采用数据去重技术，可以为备份系统节约83%的存储空间，为主存系统节约68%的存储空间，为固态硬盘节约28%的存储空间，为云虚拟机中通用数据的存储节约高达80%的空间[18]敖等[19]综述了通用存储系统中的数据去重的相关技术，从完全文件检测、固定分块检测、可变分块检测、滑动块检测等4 个方面分析了相同数据的重复性检测技术，从基于Shingle 的检测、基于布隆过滤器(Bloom filter)的检测、基于模式匹配的检测等3 个方面介绍了相似数据的重复性检测技术。

付等[20]从数据划分方法、I/O 优化技术、高可靠数据配置策略、系统可扩展性等方面综述了网络存储系统中数据去重的关键技术Xia等[21]总结了数据去重的关键特征，从数据去重工作流的角度综述了相关技术的研究进展。

2.3.2 自动精简配置传统的存储系统中，当某用户、某应用需要存储空间时，需要事先预留足够大的存储空间以分配给该用户或该应用，其他用户或应用无法使用这些已经分配但尚未使用的存储空间，这将导致闲置空间不断增大。

因此实际上，往往采用自动精简配置来进行容量分配自动精简配置则可以根据某项应用的实际需要，动态并且实时地改变存储容量资源的划分，因此能更加充分有效地利用存储资源，节约总成本2.3.3 存储虚拟化存储虚拟化(Storage Virtualization)技术是把多个存储介质模块通过虚拟化的手段集中管理起来，所有的存储模块在一个存储池中进行统一管理，实现同构或异构的多个存储设备的统一管理，向用户提供一个大容量、高数据传输带宽的存储系统，该系统实现了存储器物理管理与逻辑管理的分离，实现了存储器的透明化访问。

存储虚拟化可以提高存储设备的利用率，节约存储设备的成本还可以减少存储系统的管理复杂度，使管理员只需面对虚拟化以后的统一的存储空间，而不必去考虑物理存储设备的细节存储虚拟化包括带内(在数据通道中)、带外(拥有代理服务器和元数据控制器, 在数据通道之外) 和分离路径(带内和带外的结合体) 3 种方式。

其中:带内(In -band)又称对称存储虚拟化技术, 带内方法主要在主服务器和存储设备之间实现虚拟功能, 是传统的产品和存储系统经常采用的方法;带外(Out -of -band) 又称非对称存储虚拟化技术, 带外存储虚拟化设备安装在主机和存储之间的数据通道之外, 因而主机中需要安装专门的软件;而分离路径存储虚拟化技术综合了带内和带外技术的优点, 在与软件绑定的开关或者产品中采用存储服务模块或者适配器实现存储虚拟化。

3. 建议解决的关键技术3.1 对SSD、新型存储器的研究开发进一步降低SSD的成本，提升寿命、性能，更广泛地应用于存储系统中，提升存储系统的能耗利用率开发出可用于实际应用场景的低功耗新型非易失性存储器，用来替代、补充高能耗DRAM，达到节能减排的目的。

3.2 存储虚拟化与软件定义存储在保证服务质量的基础上，利用存储虚拟化技术、软件定义存储技术，研究更适应节能的云存储系统架构模式、存储模型与策略、元数据的管理与组织方法等，进一步提高资源利用率3.3 云环境下的安全去重。

云存储中不可避免地产生大量数据冗余，给抽样、匹配、决策等带来巨大挑战，海量数据的关联分析还将严重威胁用户隐私因此，如何在保护数据和用户隐私信息的有限泄露的前提下，取得安全去重、隐私保护和效率之间的平衡，进一步提高存储空间利用率，仍是一个值得研究的问题。

4. 参考文献【1】 Zedlewski J , Sobti S , Garg N , et al. Modeling Hard-Disk Power Consumption[C]// Usenix Conference on File & Storage Technologies. USENIX Association, 2003.

【2】 White A . Low-Power Amdahl-Balanced Blades for Data Intensive Computing[J]. Acm Sigops Operating Systems Review, 2010, 44(1):71-75.

【3】 Lim K , Ranganathan P , Chang J , et al. Understanding and Designing New Server Architectures for Emerging Warehouse-Computing Environments[C]// International Symposium on Computer Architecture. ACM, 2008.

【4】 An S G , Sivasubramaniam M K , Franke E H . DRPM: Dynamic Speed Control for Power Management in Server Class Disks[C]// International Symposium on Computer Architecture. IEEE, 2003.

【5】 Stan M . Intra-Disk Parallelism: An Idea Whose Time Has Come[J]. Acm Sigarch Computer Architecture News, 2008, 36(3):303-314.

【6】 Huang H , Hung A , Shin K G . FS2: dynamic data replication in free disk space for improving disk performance and energy consumption[J]. Acm Sigops Operating Systems Review, 2005, 39(5):263-276.

【7】 Li D , Wang J . EERAID: energy efficient redundant and inexpensive disk array[C]// Workshop on Acm Sigops European Workshop. ACM, 2004.

【8】 Xiaoyu Yao J W . RIMAC: a novel redundancy-based hierarchical cache architecture for energy efficient, high performance storage systems[C]// Acm Sigops/eurosys European Conference on Computer Systems. ACM, 2006.

【9】 Li D , Wang J . eRAID: A Queueing Model Based Energy Saving Policy.[C]// IEEE International Symposium on Modeling. IEEE, 2006.

【10】Zhu Q , Chen Z , Tan L , et al. Hibernator:helping disk arrays sleep through the winter[J]. Acm Sigops Operating Systems Review, 2005, 39(5):177-190.

【11】 Colarelli D , Grunwald D . Massive Arrays of Idle Disks For Storage Archives[C]// Supercomputing, Acm/ieee Conference. IEEE, 2002.

【12】 Pinheiro E . Energy conservation techniques for disk array-based servers[M]// Author retrospective on energy conservation techniques for disk array-based servers. 2004.

【13】 Zhu Q , Zhou Y . Power-aware storage cache management[J]. IEEE Transactions on Computers, 2005, 54(5):587-602.

【14】 Weddle C , Oldham M , Qian J , et al. PARAID: A Gear-Shifting Power-Aware RAID.[J]. Acm Transactions on Storage, 2007, 3(3):13.

【15】 Pinheiro E , Bianchini R , Dubnicki C . Exploiting Redundancy to Conserve Energy in Storage Systems[J]. Acm Sigmetrics Performance Evaluation Review, 2006, 34(1):15-26.

【16】 Narayanan D , Donnelly A , Rowstron A . Write off-loading: Practical power management for enterprise storage[J]. Acm Transactions on Storage, 2008, 4(3):1-23.

【17】 Storer M W . Pergamum: Replacing Tape with Energy Efficient, Reliable, Disk-Based Archival Storage[C]// Usenix Conference on File & Storage Technologies. USENIX Association, 2008.

【18】 Paulo J , Pereira J . A Survey and Classification of Storage Deduplication Systems[M]. ACM, 2014.

【19】敖莉, 舒继武, 李明强. 重复数据删除技术[J]. 软件学报, 2010, 21(5):916-929.【20】付印金, 肖侬, 刘芳. 重复数据删除关键技术研究进展[J]. 计算机研究与发展, 2012, 49(1): 12-20.

【21】 Xia W , Jiang H , Feng D , et al. A Comprehensive Study of the Past, Present, and Future of Data Deduplication[J]. Proceedings of the IEEE, 2016, 104(9):1-30.