引言

　　信息在带来价值和财富的同时，也给我们带来了许多挑战，诸如存储空间巨大、管理复杂、存储利用率低下、能源消耗巨大等问题。为了提高数据存储数量和效率，人们提出了很多提高存储效率的方案和方法。新概念的高效存储技术数据压缩、重复数据删除、自动精简配置、自动分层存储、存储虚拟化等技术有效解决或缓解了这些难题。

　　1当前数据存储应用的不足

　　容量效率——容量效率低是极其常见的现象，在许多中小型企业或高校等应用IT的环境下，存储系统资源相互独立，往往造成存储系统的利用率不均衡，有的存储设备已经饱和，而很多存储设备的存储利用率却不到30％。

　　人员管理效率——在传统存储模式下，每个应用都有自己的存储系统，每个存储系统都有自己的管理界面，都需要管理员来维护，这些管理的成本随着存储器数量的增多而急剧增加。

　　IT系统的生产效率——前两个问题必然会造成整个IT系统生产效率的下降。一方面是性能和稳定性的问题，使得业务不能够正常运营；另一方面是系统定期维护造成的定时停机，比较典型的如数据调整、设备更换、数据迁移等都会使整个业务系统停止。

　　2“高效存储”策略

　　高效存储技术主要基于以下策略：①减少冗余数据副本，减缓数据增长率：根据数据价值和SLA定制数据管理和保护策略，降低总成本。②将分散物理存储资源整合成虚拟的存储资源池，使得存储利用率最大化，减缓存储需求。③有效减小数据通信量和存储量。删除块级和文件级冗余数据、自动精减配置、在满足存储需求的同时按需分配存储、根据需要动态调整数据卷大小，使得存储量最小化。④根据数据价值和访问频度自动在不同存储层次之间流动，降低成本。⑤高效利用SSD的高性能、低能耗的特点，提高设备数据存储量。⑥减少测试、仿真、建模等应用的存储空间需求。⑦将空闲磁盘转换成非活动或低速旋转模式，可有效节省能耗。

　　以上所列高效存储技术和管理策略均是最佳实践，但是单一技术往往难以显著地提高存储利用效率、降低能耗、降低成本，实际中通常综合运用其中多种技术以获得更佳的整体效果。

　　3“高效存储”技术

　　基于高效存储策略，目前IT界公认的五项高效存储技术分别是数据压缩、重复数据删除、自动精简配置、自动分层存储和存储虚拟化。

　　3.1 数据压缩

　　数据压缩技术是提离数据存储效率最古老最有效的方法之一。数据压缩就是将收到的数据通过存储算法存储到更小的空间中去。随着CPU处理能力的大幅提高，在主存中应用实时压缩技术来节省数据占用空间成为现实。这项新技术就是最新研发出的在线压缩（实时压缩，RACE）技术，它使得数据压缩技术发生了探大的改变，它具有更快捷更准确的活跃数据判断能力和缩减能力，从而大幅度地降低文件和数据库的占用空间。借助实时压缩技术，在不降低性能要求的情况下，将存储需求最多可降低80%与传统压缩技术不同，对RACE技术，当主数据在首次写入时即被压缩，帮助系统控制大，数据在主存中杂乱无章地存储的情形，特别是多任务工作时更加明显。进而降低了功耗、减少了冷却要求，也使得CPU工作受轻松。该技术还可以在数据写入到存储系统前压缩数据，这进一步提高了存储系统中的磁盘和缓存的性能和效率。RACE是一个软硬件组合的技术产品，本身可以看作一个压缩器，透明地部署在数据流中，整个数据会流经它，再存储到服务器中。

　　3.2重复数据删除

　　备份设备中总是充斥着大量的重复数据。“重复删除”技术（Deduplication）作为一种数据缩减技术可对存储容量进行优化。它通过删除数据集中重复的数据，只保留其中一份，如图1所示，从而消除冗余数据。Dedupe技术可以将数据缩减到原来的1/20-1/50。由于大幅度减少了对物理存储空间的禽求，进而减少传输过程中的网络带宽、节约设备成本、降低能耗。

图1 重复教据删除技术原理

　　Dedupe按照消重的粒度可以分为文件级和数据块级。文件级的dedupe技术也称为单一实例存储（SIS，Single inaroncc 5tane），数据块级的，复数据删除，其消宜粒度更小，可以达到4-24KE之间。显而易见，数据块级可以提供更高的数据消重率，因此目前主流的dedupe产品都是数据块级的。Dedupe将文件变成定长或变长的数据块，采用MD5/SHA1等Hash散列）算法为数据块计算指纹（FP，Fingerprint）。可以同时使用两种以上hash算法计算数据指纹，以获得非常小的数据碰括发生概率。具有相同指纹的数据块即可认为是相同的数据块，存储系统中仅需要保留一份。这样，一个物理文件在存储系统就只对应一个逻辑表示。