1.课题来源与背景 针对目前在分布式存储的现状，本项目研发的系统采用基于无中心分布系统的全局重复数据删除方法，解决了数据在分布式云存储环境下的全局去重难题，使得百分之九十的重复数据得以删除，并且元数据和数据块可以共同分散存储，从而节约大量的存储成本，并且支持混合云架构，可以实现无限扩展。解决在去“IOE”政策下，国产数据灾备的问题。目前本云灾备软件已与广州超算中心相结合，解决了各个政府单位将应用迁移以及备份广州超算中心的难题。 2. 技术原理及性能指标 1）技术原理 基于分布式环境下的全局重复数据删除是业界公认的难题，此中要解决著名的拜占庭错误（Byzantine Error），针对此难本公司提供出来 “一种基于无中心分布系统的全局重复数据删除系统及方法”（专利号：201210232607，由广州鼎鼎信息科技有限公司发明）。 分布式系统下的全局重复数据删除方法，是一种真正跨文件、跨客户端、跨存储节点的全局重复数据删除方法，该方法旨在全存储网络范围内查找一个给定的数据块，并使其全局范围内保留的数据副本数为R，（R可以被设定为1、2或3）。 全局重复数据删除的算法可简单表述为： 1.采用变长数据分块算法，得到一个数据块chunk 2.用SHA-1算法，生成数据块的摘要，即 sha1（chunk） à key 3.向分布式存储网络发起 REF（key, i）操作，（i = R, R = 1, 2, 3…） 4.根据REF操作返回的结果i，如果i = R，则说明此数据块在全局范围内被成功引用，此时不必再向存储网络发起PUT写入操作，重复数据删除成功。 5.根据REF操作返回的结果i，如果i < R，说明引用在全局范围内失败，还缺少R-i个数据副本。正常网络情况下，i的值基本只有两种：0和R。此时操作发起方再调用PUT操作向分布式存储网络写入数据块：PUT（key, R - i）, 检测并写入新的数据块操作完成。 以下图示展示了R＝3时的全局重复数据删除过程： 2）性能指标 1.实现基于C/S 的集中管理云灾备系统 2.实现从PC环境到Windows、Linux平台的文件、操作系统、数据库、应用系统备份/恢复功能 3.实现本地与异地备份节点的互备以及故障转移的灾备功能 4.实现基于源端重复数据删除备份技术及R.A.I.N.的云分布式存储结构 5.界面友好，性能稳定，操作简单。 3. 技术的创造性与先进性 1）.本系统采用了基于无中心分布系统的全局重复数据删除方法，解决了传统重复删除技术在重复数据删除过程中会产生误判，降低数据的重复删除效果，导致较多重复数据被漏删的技术问题。 2）.本系统采用了适用于云存储系统的元数据分布式存储方法，解决了传统元数据存储需要专门元数据服务器的问题，通过该方法可以直接把元数据的存储与块数据存储合并，不仅提高了元数据的安全性和可扩展性，也避免了因元数据单点失效而导致整个存储网络不能使用的问题。 3）.本系统采用了混合云架构（客户机-->本地私有云-->公有云/异地私有云），可实现存储空间的无限扩展，打破了传统的公私混合云的的局限性。 4. 技术的成熟程度，适用范围和安全性 本公司开发的MeshVault云存储管理软件在行业市场上已经得到了许多单位的认可，主要用户有金发科技股份有限公司，广州周立功单片机科技有限公司，广东省体育局，广州市工商局，广州市地税局，广州萝岗信息办，肇庆蓝带啤酒有限公司，北京互联通网络科技有限公司广州分公司等。 5. 应用情况及存在的问题 用户普遍反映该产品重复数据删除效果非常显著，可跨平台运行在Windows/Linux等系统上，其内置的异地备份功能能够实现在窄带宽下异地数据传输，使得异地备份成为可能，而且能实现对公司所有重要数据进行集中式备份管理，公司还需不断完善软件UI界面以及操作界面使软件更加完善。 6. 历年获奖情况 无