MRD码技术获颠覆性突破!领存技术:深度赋能AI训练

在现代通信技术中,编码的选择对于传输效率、可靠性和安全性起着至关重要的作用。

领存技术近期在最大秩距码(MaximumRankDistance,简称MRD码)领域取得巨大技术突破,使得MRD码的纠错性能提升了1万倍。这表明MRD码不仅在理论上具有巨大的潜力,而且在实际应用中也展现出了巨大的价值。MRD码或将深度赋能AI训练,帮助我国AI领域换道超车,在存储行业大展拳脚。

MRD码自1985年被提出以已经接近40年,虽然被公认具备巨大潜力,因其算法复杂性,却鲜有从理论走向实际应用的案例,当下领存实验室终于实现了从理论到具体产品的革命性跨越。

MRD码核心优势

深圳市领存技术有限公司董事长楚一兵解释,MRD码,即最大秩距离码,是一类特别设计编码,MRD码核心优势在于其擅长处理随机线性网络中与秩相关的错误模式,且能够达到已知理论界限,从而提供最优的错误检测和纠正能力,在特定通信和存储环境中提供优异性能。具体来看有五大优势:

1,最大化错误校正能力。对于给定长度和码字大小的线性码,MRD码提供可能的最大错误校正能力。这意味着对于固定维度的向量空间,没有其他类型的编码能够比MRD码纠正更多的错误,MRD码可以达到所谓的Singleton界限,这在传统的阻塞码中也是一个性能指标。

2,带内秩错误处理。MRD码非常适合用于通信或存储系统中,错误出现形式通常与线性代数中的秩概念(即矩阵线性独立的行或列的最大数目)有关。

3,适应多种网络场景。MRD码特别适用于某些需要处理类似矩阵排列的网络环境,如包含线性网络编码的分布式存储系统、空间复用通信系统,以及具有转发节点的中继网络。

4,灵活地尺寸调整。MRD码允许较为灵活地选择码的参数,如码长和每个码字的尺寸,使其可以更好地适配特定系统需求。

5,符号非联通错误的纠正。在某些通信系统中,可能会出现所谓的“符号非联通的错误”,即错误会影响码字的一个或多个符号,但这些符号不一定是连续的。MRD码能够有效纠正这种类型错误。

领存此次的技术突破是在采用低轨道卫星(LEO)和中轨道卫星(MEO)组成的RLNC网的测试中,模拟结果表明在纠错能力方面,MRD码比传统的 LDPC(Low-DensityParity-Check)码提升了1万倍以上,从理论上而言,MRD码又是一项不可破解的加密技术,因此,在卫星通讯中,MRD码可以同时实现绝对保密通讯和巨大的性能提升双重指标。

除此之外,MRD码在大模型AI训练中也可以“大展拳脚”。

深度赋能AI训练

在英伟达带动下,新的AI芯片计算能力不断提升,芯片间互联速度、内存容量也快速增长,AI训练成为焦点,各大公司疯狂争夺算力资源。AI训练是一个复杂且耗时的过程,涉及从数据收集到模型部署的多个步骤。

MRD码通过提高信息在通道中的传输效率,助力InfiniBand网络成为AI训练网络的主力。

楚一兵先生表示,如果AI训练中使用随机线性网络,MRD码的确可以提供比目前使用的LDPC码提升1万倍以上的纠错性能,网络传输过程中错误降低,就会大幅降低数据重传的概率,数据重传是网络堵塞的重要原因,所以,使用MRD码对于AI训练来说,一定可以大幅提升训练性能。使用领存技术MRD码技术可以大幅提升AI研发进程,从而提高模型训练的质量和效率。

楚一兵先生称,在AI方面,领存技术在MRD码技术突破重大意义在于为国内AI技术追赶美国提供了强大的工具。

事实上国内AI发展无论是算力还是存力均落后于美国,AI发展除了需要投入巨大资金外,更需要大量的机器学习和数据传输。

以ChatGPT为代表的AI应用的兴起,需要处理大量数据以进行训练和推理,数据量不断增加,对于存储和传输数据的需求也在增加,MRD码技术能够在这种情况下提供高效的数据编码和纠错能力,从而提高了数据传输和存储的效率和可靠性,因此,MRD码技术的创新突破将为AI应用的进一步发展提供重要支持和基础。

楚一兵先生分析,随着AI应用的不断深入和扩展,MRD码及其相关技术将会成为一大趋势,并且在未来可能成为关键性技术基础之一。

MRD码不仅赋能算力,在储存方面也将有不错的应用。

无损压缩算法有待突破

中国存储容量增长快,随着国产存储整机和闪存生产能力提升,闪存SSD价格持续降低,推动全闪存存储系统价格下探。先进SSD供应商领存技术迎来时代红利。

当下领存技术希望利用MRD技术尽快突破无损压缩算法,有效解决庞大数据量与有限的存储空间的矛盾。

楚一兵称,MRD技术或可改变高端存储一直被海外巨头垄断的竞争格局。在分布式计算和云服务中,数据的同步和一致性是关键挑战之一,MRD码能够提供有效的纠错能力,加强数据一致性,有助于优化资源分配,降低数据丢失或损坏的风险。

楚一兵补充,MRD码同样支持新兴科技发展,比如物联网(IoT)、自动驾驶、远程医疗和智慧城市等领域,都依赖于高效、可靠的数据通信和存储,MRD码技术可以为这些领域大量设备和系统之间的有效数据交换提供强大的算法支撑,加快中国新兴产业的落地。