Attention deficit disorder: how China’s AI start-ups are rewiring the way models remember | 注意力缺陷障碍：中国AI创业公司如何重塑模型记忆方式
随着先进芯片的获取变得更加困难，中国的人工智能开发者正专注于解决大型语言模型（LLMs）中的算法瓶颈问题。他们相信，通过优化算法而非依赖更强大的硬件，能够在与西方竞争中取得优势。
一些创业公司如Moonshot AI和DeepSeek正在尝试混合“注意力”机制，以在有限的计算资源下保持竞争力。这些公司主要在重新设计传统的“全注意力”过程，该过程需要将每个新数据与所有之前的数据进行比较，随着数据量的增加，计算成本呈指数增长。中国开发者正在探索混合“线性注意力”系统，只与部分数据进行比较，从而大幅降低计算需求。例如，Moonshot AI在十月末推出的Kimi Linear，采用了结合全注意力和线性注意力的“ Kimi Delta Attention”技术。
via SCMP Full Text Feed
随着先进芯片的获取变得更加困难，中国的人工智能开发者正专注于解决大型语言模型（LLMs）中的算法瓶颈问题。他们相信，通过优化算法而非依赖更强大的硬件，能够在与西方竞争中取得优势。
一些创业公司如Moonshot AI和DeepSeek正在尝试混合“注意力”机制，以在有限的计算资源下保持竞争力。这些公司主要在重新设计传统的“全注意力”过程，该过程需要将每个新数据与所有之前的数据进行比较，随着数据量的增加，计算成本呈指数增长。中国开发者正在探索混合“线性注意力”系统，只与部分数据进行比较，从而大幅降低计算需求。例如，Moonshot AI在十月末推出的Kimi Linear，采用了结合全注意力和线性注意力的“ Kimi Delta Attention”技术。
via SCMP Full Text Feed
