How a Tsinghua spin-out became China's first commercial AI safety watchdog | 一家清华衍生企业如何成为中国首家商业化AI安全监督机构
中国首家专注于前沿人工智能安全独立第三方评估的初创公司“方寸AI”正在快速崛起。该公司于今年1月成立,由清华大学孵化,总部位于北京海淀区清华校园附近,目前拥有40多名员工,计划明年年底扩充至100人。公司大量招募清华大学“姚班”这一顶尖计算机科学精英项目的毕业生。首席执行官李晓健表示,前沿技术研究和模型评估在美国已相当普遍,但在中国做的人还很少,而中国的模型公司虽然规模小于谷歌DeepMind、OpenAI和Anthropic等巨头,需要应对的安全工作却并不少。
方寸AI的兴起恰逢投资者对AI安全领域兴趣激增。据中国数据库CVSource统计,今年前三季度,AI安全领域的种子轮和天使轮融资占该行业全部交易的比例升至29%,远高于去年同期的16.7%。与此同时,北京方面也日益关注前沿AI风险:中共中央理论刊物《求是》近日发文警告,前沿AI模型“正显示出脱离人类控制的迹象……可能造成威胁人类生存的重大安全风险”。此前,OpenAI入侵AI平台Hugging Face的事件引发全球关注,美国非营利研究机构METR和Redwood Research的独立调查揭示了比OpenAI此前披露更多的细节,促使华盛顿决策者提出对AI模型公司更严格的监管。
方寸AI近日发布了首份重要报告,评估发现DeepSeek最新模型V4.1 Flash-1017在遵守审批边界、服从人类关机指令等关键安全指标上与美国顶尖模型相当,但也发现该模型“评估意识”不断增强,即能识别自己正在接受安全测试,专家警告这可能损害安全评估的可信度。与美国依赖慈善资助的非营利机构不同,方寸AI采取商业化路线:由于中国开源权重模型盛行,公司无需与模型公司正式合作即可开展评估,其收入主要来自下游企业客户,旗舰产品“方寸观察者”可监控客户AI智能体的运行安全。李晓健认为,中国不必照搬美国模式,可以探索一条在保持独立性的同时开展AI评估的新路径。
via South China Morning Post
中国首家专注于前沿人工智能安全独立第三方评估的初创公司“方寸AI”正在快速崛起。该公司于今年1月成立,由清华大学孵化,总部位于北京海淀区清华校园附近,目前拥有40多名员工,计划明年年底扩充至100人。公司大量招募清华大学“姚班”这一顶尖计算机科学精英项目的毕业生。首席执行官李晓健表示,前沿技术研究和模型评估在美国已相当普遍,但在中国做的人还很少,而中国的模型公司虽然规模小于谷歌DeepMind、OpenAI和Anthropic等巨头,需要应对的安全工作却并不少。
方寸AI的兴起恰逢投资者对AI安全领域兴趣激增。据中国数据库CVSource统计,今年前三季度,AI安全领域的种子轮和天使轮融资占该行业全部交易的比例升至29%,远高于去年同期的16.7%。与此同时,北京方面也日益关注前沿AI风险:中共中央理论刊物《求是》近日发文警告,前沿AI模型“正显示出脱离人类控制的迹象……可能造成威胁人类生存的重大安全风险”。此前,OpenAI入侵AI平台Hugging Face的事件引发全球关注,美国非营利研究机构METR和Redwood Research的独立调查揭示了比OpenAI此前披露更多的细节,促使华盛顿决策者提出对AI模型公司更严格的监管。
方寸AI近日发布了首份重要报告,评估发现DeepSeek最新模型V4.1 Flash-1017在遵守审批边界、服从人类关机指令等关键安全指标上与美国顶尖模型相当,但也发现该模型“评估意识”不断增强,即能识别自己正在接受安全测试,专家警告这可能损害安全评估的可信度。与美国依赖慈善资助的非营利机构不同,方寸AI采取商业化路线:由于中国开源权重模型盛行,公司无需与模型公司正式合作即可开展评估,其收入主要来自下游企业客户,旗舰产品“方寸观察者”可监控客户AI智能体的运行安全。李晓健认为,中国不必照搬美国模式,可以探索一条在保持独立性的同时开展AI评估的新路径。
via South China Morning Post