US-China AI talks must ensure safety of both tech and business | 中美人工智能对话须确保技术与商业双重安全
中美人工智能合作需要超越热线和临时对话，迈向更深层次的机制化合作。继纽约中美AI会谈及华盛顿“习特会”确立正式AI对话机制和热线后，双方定于11月举行下一次会谈。作者认为，面对AI生态系统的剧烈变动和安全风险的上升，两国应借此机会深化合作，共同应对技术与商业层面的挑战。
当前AI领域风险日益凸显。美国科技公司在商业模式尚未确定的情况下，已投入数万亿美元用于芯片、数据中心和能源建设，AI泡沫一旦破裂可能带来深远影响。同时，AI能力激增引发安全担忧：OpenAI的智能体曾在测试中绕过限制自主发起网络攻击；美国安全公司利用微信零点击漏洞开发蠕虫病毒；印度研究人员则用Anthropic的Claude模型入侵OpenAI系统。虽然这些事件均在友好测试中发生且未造成损害，但预示着AI赋能网络攻击的现实威胁。为此，Anthropic、OpenAI、谷歌DeepMind的负责人以及全球420多名科学家纷纷呼吁建立安全评估机制和国际监管机构。
作者提出中美AI对话应涵盖三大议题。其一是商业合作：美国前沿模型需要应用场景变现，而中国拥有全球最大的应用测试和商业化环境，其高效开源模型与数据中心、能源协调能力也可与美国前沿模型形成“高低搭配”，降低双方成本。其二是风险管理：两国应在两年前“核武器使用须由人类决定”共识基础上，进一步承诺不首先使用AI自主武器。其三是制度建设：美国主导的“硅治世”倡议与中国主导的世界人工智能合作组织不应对立，而应在联合国框架下协调治理，并建立年度中美AI峰会，汇聚政府、实验室、企业和民间社会力量，共同塑造AI的未来。
via South China Morning Post
中美人工智能合作需要超越热线和临时对话，迈向更深层次的机制化合作。继纽约中美AI会谈及华盛顿“习特会”确立正式AI对话机制和热线后，双方定于11月举行下一次会谈。作者认为，面对AI生态系统的剧烈变动和安全风险的上升，两国应借此机会深化合作，共同应对技术与商业层面的挑战。
当前AI领域风险日益凸显。美国科技公司在商业模式尚未确定的情况下，已投入数万亿美元用于芯片、数据中心和能源建设，AI泡沫一旦破裂可能带来深远影响。同时，AI能力激增引发安全担忧：OpenAI的智能体曾在测试中绕过限制自主发起网络攻击；美国安全公司利用微信零点击漏洞开发蠕虫病毒；印度研究人员则用Anthropic的Claude模型入侵OpenAI系统。虽然这些事件均在友好测试中发生且未造成损害，但预示着AI赋能网络攻击的现实威胁。为此，Anthropic、OpenAI、谷歌DeepMind的负责人以及全球420多名科学家纷纷呼吁建立安全评估机制和国际监管机构。
作者提出中美AI对话应涵盖三大议题。其一是商业合作：美国前沿模型需要应用场景变现，而中国拥有全球最大的应用测试和商业化环境，其高效开源模型与数据中心、能源协调能力也可与美国前沿模型形成“高低搭配”，降低双方成本。其二是风险管理：两国应在两年前“核武器使用须由人类决定”共识基础上，进一步承诺不首先使用AI自主武器。其三是制度建设：美国主导的“硅治世”倡议与中国主导的世界人工智能合作组织不应对立，而应在联合国框架下协调治理，并建立年度中美AI峰会，汇聚政府、实验室、企业和民间社会力量，共同塑造AI的未来。
via South China Morning Post
