针对传统计算系统中的“存储墙”问题以及数据爆炸带来的海量数据高效存储等系列问题，华中科技大学信息存储及应用实验室经过多年的理论探索与技术攻关，在并行存储理论与海量存储技术方面取得了系列突破，并在实际应用中获得了良好的效果。

成果名称：海量并行存储理论及高效统一多云存储技术

成果单位：华中科技大学

针对传统计算系统中的“存储墙”问题以及数据爆炸带来的海量数据高效存储等系列问题，华中科技大学信息存储及应用实验室经过多年的理论探索与技术攻关，在并行存储理论与海量存储技术方面取得了系列突破，并在实际应用中获得了良好的效果。

理论创新上，项目组从存储系统的器件特性、系统组织模式、以及数据访问规律等方面开展多层次、多维度的深入研究工作，突破了设备内多器件并行机理、系统内多设备并行机制以及并行调度理论方法等国际重大难题：

非易失存储器件的多级并行调度机理

揭示固态盘内非易失存储器件页面和性能之间的关联关系，首次阐明面向存储介质特性的精细粒度多级并行调度机理，率先提出柔性灵活页面分配机制，建立存储设备多芯片并行的设计准则，奠定存储设备内高效并行调度的重要理论基础。

基于关联数据的系统多设备并行机制

首次揭示海量存储系统中关联数据的可聚集性，阐明基于数据关联聚类的短路径高效并行的组织机制，提出加速数据去重的并行流水线算法，为系统多设备并行提供关键理论支撑。

面向数据热度的操作并行性

率先发现海量存储系统运行时数据访问和出错符合帕累托法则，建立了面向数据访问热度的并行化快速重建模型，提出了热度驱动的多线程并行重建的新算法，突破了存储系统可靠性和高效性协同的重大难题。

技术创新上，针对当前云存储面临的数据高速增长带来的成本和管理挑战、用户需求复杂多样带来的服务质量保障及可靠性等挑战，项目组提出高效统一云存储系统架构，并形成高效数据去重、服务精确保障、数据高可靠等系列关键技术。具体技术创新包括：

异构统一云存储系统架构及管理调度

对多个公有云和私有云统一管理调度形成云存储池，实现冷热数据自动迁移与移动缓存，性能接近池中云节点最高访问性能；提出海量数据高效组织和快速查询方法，相比传统方法性能提升 5-8 倍。

降低带宽和容量需求的数据去重技术

发明局部性与相似性结合的数据去重索引方法、基于内容的非对称极值分块及历史感知重写算法，形成高效数据去重技术，通过减少数据量降低云存储传输带宽和系统容量需求，保持高数据去重率同时降低内存开销达50%。

存储服务质量保障技术

提出虚拟机端到端的服务等级多目标保障方法、大规模虚拟机集群的尾延时服务等级目标精确保障技术，保持高资源利用率同时实现I/O吞吐率、带宽等多性能指标的近似精确保障，误差小于1%。

可靠安全性保障技术

提出基于有限域上矩阵和数据块乘积快速编码计算的通用功能性修复再生码GFR，减少云存储中数据修复产生的数据流量最高可达1/4；提出一种无需可信第三方的云端数据安全删除方法，保障了用户数据安全性。

项目组基于并行理论开发的仿真平台 SSDSim 已应用于包括美国卡耐基梅隆大学、韩国科学技术院等7个国家103家机构，引领了国际相关研究。数据去重软件已Content Blockchain、zvault等多个项目采纳。成果已获授权发明专利50余项，软件著作权10余项，应用于云存储制造商、服务提供商等，取得了重大的经济与社会效益。