Huawei’s new algorithm could cut China’s reliance on foreign memory chips | 华为新算法或将减少中国对进口存储芯片的依赖
华为技术公司推出了一款名为“统一缓存管理器(UCM)”的软件工具,旨在加速大型人工智能模型的推理过程。这一创新能够显著提升推理效率,减少高达90%的延迟,并将系统吞吐量提高多达22倍,有助于中国减少对昂贵的高带宽存储器(HBM)芯片的依赖。
据华为在上海举行的金融AI推理应用落地与发展论坛上介绍,UCM通过根据不同存储类型(包括超快的HBM、标准动态随机存取存储器和固态硬盘)的延迟需求,合理分配数据,从而优化整体性能。华为计划在九月开源UCM,先在其开发者社区推广,随后面向整个行业。这一举措有望帮助中国降低对由韩国的SK海力士、三星电子以及美国的美光科技等厂商生产的HMB芯片的依赖。
via SCMP Full Text Feed
华为技术公司推出了一款名为“统一缓存管理器(UCM)”的软件工具,旨在加速大型人工智能模型的推理过程。这一创新能够显著提升推理效率,减少高达90%的延迟,并将系统吞吐量提高多达22倍,有助于中国减少对昂贵的高带宽存储器(HBM)芯片的依赖。
据华为在上海举行的金融AI推理应用落地与发展论坛上介绍,UCM通过根据不同存储类型(包括超快的HBM、标准动态随机存取存储器和固态硬盘)的延迟需求,合理分配数据,从而优化整体性能。华为计划在九月开源UCM,先在其开发者社区推广,随后面向整个行业。这一举措有望帮助中国降低对由韩国的SK海力士、三星电子以及美国的美光科技等厂商生产的HMB芯片的依赖。
via SCMP Full Text Feed