Ant Group explores AI framework that is 10 times faster than Nvidia’s solution | 蚂蚁集团研发AI框架速度比英伟达方案快十倍
中国金融科技巨头蚂蚁集团已开源一种新的人工智能推理框架dInfer，旨在提高AI系统的效率，甚至超过目前由英伟达使用的框架。据称，dInfer专为扩散语言模型设计，这类模型以并行方式生成输出，区别于传统的“自回归”模型（如ChatGPT），后者是逐字生成文本。蚂蚁集团表示，dInfer在速度方面比开源推理引擎vLLM快3倍，比英伟达的Fast-dLLM快10倍。
扩散模型已在图像和视频生成中得到广泛应用，蚂蚁集团的这一创新显示出中国科技巨头正加大在算法和软件优化方面的投入，以弥补在先进AI芯片方面的劣势。根据内部测试，蚂蚁集团的扩散模型LLaDA-MoE在“HumanEval”代码生成基准测试中，平均每秒生成1011个token，而英伟达的Fast-dLLM仅为91个，蚂蚁集团的Qwen-2.5-3B模型则为294个，显示出显著的性能优势。
via SCMP Full Text Feed
中国金融科技巨头蚂蚁集团已开源一种新的人工智能推理框架dInfer，旨在提高AI系统的效率，甚至超过目前由英伟达使用的框架。据称，dInfer专为扩散语言模型设计，这类模型以并行方式生成输出，区别于传统的“自回归”模型（如ChatGPT），后者是逐字生成文本。蚂蚁集团表示，dInfer在速度方面比开源推理引擎vLLM快3倍，比英伟达的Fast-dLLM快10倍。
扩散模型已在图像和视频生成中得到广泛应用，蚂蚁集团的这一创新显示出中国科技巨头正加大在算法和软件优化方面的投入，以弥补在先进AI芯片方面的劣势。根据内部测试，蚂蚁集团的扩散模型LLaDA-MoE在“HumanEval”代码生成基准测试中，平均每秒生成1011个token，而英伟达的Fast-dLLM仅为91个，蚂蚁集团的Qwen-2.5-3B模型则为294个，显示出显著的性能优势。
via SCMP Full Text Feed
