AI will soon master biology, unleashing new safety risks, Tencent AI chief warns | 腾讯AI负责人警告：AI即将精通生物学，引发新的安全风险
腾讯首席AI科学家姚顺雨警告称，人工智能即将掌握生物学能力，这既可能加速新药研发，也可能被恶意者用于制造生物武器或引发下一场大流行病。这位曾任职于OpenAI的知名研究员在香港科学院与未来科学大奖联合主办的科学研讨会上罕见公开露面时表示，AI模型的网络能力和即将到来的生物能力将达到“真正可能造成伤害”的门槛，所有中国及开源模型公司都必须对安全风险保持高度负责的态度。
姚顺雨介绍了腾讯在AI驱动科研方面的布局，包括运营“自主科学实验室”，用AI端到端地运行复杂实验。腾讯本周三发布了最新旗舰模型Hy4，在中国产模型中排名第二。腾讯表示，已在训练阶段过滤相关数据，移除了该模型的网络攻击能力，仅保留防御能力；其生物能力也因无法将基础知识转化为可操作方案而远低于高风险阈值。姚顺雨同时提醒，生物能力可能比网络能力更难管理，因为攻击与防御能力更难分离，模型发布前的安全评估至关重要。
关于开源与闭源之争，姚顺雨指出，美国公司如Anthropic主张前沿模型应闭源以防社会危害，但开源模型也能增强防御能力，例如Hugging Face曾利用中国开源模型成功抵御网络攻击，而闭源的美国模型因安全限制拒绝提供帮助。他认为未来最好的路径可能是开源与闭源相结合。值得注意的是，中美两国在前沿AI风险问题上正日益趋同：上周腾讯、华为、阿里巴巴等中国企业共同参与了乌镇世界互联网大会上发布的前沿AI安全报告，指出AI在病原体设计等任务上的能力提升“可能造成重大公共卫生风险”。北京方面也在加强对前沿AI的监管，中国裁军事务大使李松近日在联合国表示，AI与生物化学技术的融合正在“降低恐怖袭击的门槛”。AI预计将成为本月底习近平主席与特朗普总统在深圳亚太经合组织峰会期间会晤的重要议题。
via South China Morning Post
腾讯首席AI科学家姚顺雨警告称，人工智能即将掌握生物学能力，这既可能加速新药研发，也可能被恶意者用于制造生物武器或引发下一场大流行病。这位曾任职于OpenAI的知名研究员在香港科学院与未来科学大奖联合主办的科学研讨会上罕见公开露面时表示，AI模型的网络能力和即将到来的生物能力将达到“真正可能造成伤害”的门槛，所有中国及开源模型公司都必须对安全风险保持高度负责的态度。
姚顺雨介绍了腾讯在AI驱动科研方面的布局，包括运营“自主科学实验室”，用AI端到端地运行复杂实验。腾讯本周三发布了最新旗舰模型Hy4，在中国产模型中排名第二。腾讯表示，已在训练阶段过滤相关数据，移除了该模型的网络攻击能力，仅保留防御能力；其生物能力也因无法将基础知识转化为可操作方案而远低于高风险阈值。姚顺雨同时提醒，生物能力可能比网络能力更难管理，因为攻击与防御能力更难分离，模型发布前的安全评估至关重要。
关于开源与闭源之争，姚顺雨指出，美国公司如Anthropic主张前沿模型应闭源以防社会危害，但开源模型也能增强防御能力，例如Hugging Face曾利用中国开源模型成功抵御网络攻击，而闭源的美国模型因安全限制拒绝提供帮助。他认为未来最好的路径可能是开源与闭源相结合。值得注意的是，中美两国在前沿AI风险问题上正日益趋同：上周腾讯、华为、阿里巴巴等中国企业共同参与了乌镇世界互联网大会上发布的前沿AI安全报告，指出AI在病原体设计等任务上的能力提升“可能造成重大公共卫生风险”。北京方面也在加强对前沿AI的监管，中国裁军事务大使李松近日在联合国表示，AI与生物化学技术的融合正在“降低恐怖袭击的门槛”。AI预计将成为本月底习近平主席与特朗普总统在深圳亚太经合组织峰会期间会晤的重要议题。
via South China Morning Post
