Tencent touts latest AI model Hy4's performance on independent safety assessment | 腾讯宣传最新AI模型混元4在独立安全评估中的出色表现
腾讯首次与国际AI安全机构合作,对其最新开源模型Hy4进行第三方安全评估,结果显示该模型的黑客攻击能力“有限”,欺骗和失控风险较低。这是中国头部科技公司首次公开披露在发布新模型前与独立第三方评估机构合作进行安全测试。腾讯在周五发布的82页安全报告中表示,其目标是开发不仅能力强大,而且可靠、安全、值得信赖的AI系统。此次评估合作方包括中国初创公司方寸AI和以色列裔美国公司Alice,腾讯还感谢了Neo Research等两家新加坡AI安全组织的贡献。
评估结果显示,Hy4的网络防御能力较上一版本Hy4 preview有明显提升,但黑客攻击能力仍然“有限”;方寸AI的测试则表明该模型欺骗行为和“失控”发生率较低,基本能遵循人类工程师的指令。在生物安全方面,腾讯自行测试发现,Hy4设计生物实验的能力大幅提升,在“湿实验室”实验设计测试中的得分是前代版本的三倍,但没有证据表明该模型“显著降低了实施生物危害的门槛”,因为它仍难以将实验组织成可靠流程,也缺乏帮助无经验用户完成复杂实验操作的实用知识。腾讯表示已限制高风险生物训练数据,并训练模型拒绝协助危险请求,如与病原体改造相关的功能增益研究。
此次国际合作恰逢中美关系缓和之际——美国总统特朗普表示,他与习近平主席在深圳亚太经合组织峰会期间会晤时,同意实施“联合”AI安全护栏。近期一系列AI“失控”事件和网络攻击使第三方评估机构在全球AI行业中的地位日益重要。腾讯首席AI科学家姚顺雨本月初曾在香港一个科学论坛上警告,日益强大的AI系统可能很快在生物领域构成威胁。此外,字节跳动上月也宣布成立独立的AI安全部门,并将生物威胁列为主要关注方向之一。
via South China Morning Post
腾讯首次与国际AI安全机构合作,对其最新开源模型Hy4进行第三方安全评估,结果显示该模型的黑客攻击能力“有限”,欺骗和失控风险较低。这是中国头部科技公司首次公开披露在发布新模型前与独立第三方评估机构合作进行安全测试。腾讯在周五发布的82页安全报告中表示,其目标是开发不仅能力强大,而且可靠、安全、值得信赖的AI系统。此次评估合作方包括中国初创公司方寸AI和以色列裔美国公司Alice,腾讯还感谢了Neo Research等两家新加坡AI安全组织的贡献。
评估结果显示,Hy4的网络防御能力较上一版本Hy4 preview有明显提升,但黑客攻击能力仍然“有限”;方寸AI的测试则表明该模型欺骗行为和“失控”发生率较低,基本能遵循人类工程师的指令。在生物安全方面,腾讯自行测试发现,Hy4设计生物实验的能力大幅提升,在“湿实验室”实验设计测试中的得分是前代版本的三倍,但没有证据表明该模型“显著降低了实施生物危害的门槛”,因为它仍难以将实验组织成可靠流程,也缺乏帮助无经验用户完成复杂实验操作的实用知识。腾讯表示已限制高风险生物训练数据,并训练模型拒绝协助危险请求,如与病原体改造相关的功能增益研究。
此次国际合作恰逢中美关系缓和之际——美国总统特朗普表示,他与习近平主席在深圳亚太经合组织峰会期间会晤时,同意实施“联合”AI安全护栏。近期一系列AI“失控”事件和网络攻击使第三方评估机构在全球AI行业中的地位日益重要。腾讯首席AI科学家姚顺雨本月初曾在香港一个科学论坛上警告,日益强大的AI系统可能很快在生物领域构成威胁。此外,字节跳动上月也宣布成立独立的AI安全部门,并将生物威胁列为主要关注方向之一。
via South China Morning Post