AI models favour US and UK accents, score Chinese and Nigerian ones lowest, study finds | 研究发现:AI模型偏爱美英口音,中国和尼日利亚口音评分最低
华盛顿大学最新研究发现,主流人工智能音频模型在评估英语口语时存在口音偏见,即使说话者内容完全相同,美国和英国口音的得分最高,而中国和尼日利亚口音的得分最低。研究团队测试了谷歌的Gemini 2.5 Pro和Gemini 2.5 Flash、OpenAI的GPT-Audio-1.5以及阿里巴巴的Qwen3-Omni等当时最先进的模型。测试中,所有说话者朗读完全相同的稿子,AI模型能够准确转录带口音的语音,说明它们完全听得懂,但评分仍然因口音而不同。印度口音的说话者得分居中。研究还发现,模型在书面解释中称美英口音者“清晰”、“优秀”,而称中国和尼日利亚口音者“含糊不清”或“难以理解”。
研究合著者、华盛顿大学博士生奥雷瓦奥格内·阿希亚(Orevaoghene Ahia)指出,人们现在正把音频AI模型当作第三方评估者,用于招聘、教育口试和移民英语考试等对公平性要求很高的场景,因此必须保持警惕。为确保结果可靠,研究团队既使用了AI生成的合成语音,也请真人用不同口音朗读相同的面试答案,两种情况下结果一致。此外,男女声音之间的评分差异不明显。值得注意的是,AI模型无法如实报告自身偏见,仅在约10%至30%的解释中承认口音影响了评分。
阿希亚表示,AI开发者目前只衡量模型准确性,这还不够,跨口音的公平性测试应成为标准步骤。该研究部分资金来自谷歌和OpenAI的捐赠,但两家公司未参与研究工作。研究团队下一步计划研究更多种类的口音,以及AI在紧急呼叫调度等应急场景中处理音频的表现,相关研究尚处于早期阶段。该研究已于今年10月在自然语言处理实证方法会议上发表。
via South China Morning Post
华盛顿大学最新研究发现,主流人工智能音频模型在评估英语口语时存在口音偏见,即使说话者内容完全相同,美国和英国口音的得分最高,而中国和尼日利亚口音的得分最低。研究团队测试了谷歌的Gemini 2.5 Pro和Gemini 2.5 Flash、OpenAI的GPT-Audio-1.5以及阿里巴巴的Qwen3-Omni等当时最先进的模型。测试中,所有说话者朗读完全相同的稿子,AI模型能够准确转录带口音的语音,说明它们完全听得懂,但评分仍然因口音而不同。印度口音的说话者得分居中。研究还发现,模型在书面解释中称美英口音者“清晰”、“优秀”,而称中国和尼日利亚口音者“含糊不清”或“难以理解”。
研究合著者、华盛顿大学博士生奥雷瓦奥格内·阿希亚(Orevaoghene Ahia)指出,人们现在正把音频AI模型当作第三方评估者,用于招聘、教育口试和移民英语考试等对公平性要求很高的场景,因此必须保持警惕。为确保结果可靠,研究团队既使用了AI生成的合成语音,也请真人用不同口音朗读相同的面试答案,两种情况下结果一致。此外,男女声音之间的评分差异不明显。值得注意的是,AI模型无法如实报告自身偏见,仅在约10%至30%的解释中承认口音影响了评分。
阿希亚表示,AI开发者目前只衡量模型准确性,这还不够,跨口音的公平性测试应成为标准步骤。该研究部分资金来自谷歌和OpenAI的捐赠,但两家公司未参与研究工作。研究团队下一步计划研究更多种类的口音,以及AI在紧急呼叫调度等应急场景中处理音频的表现,相关研究尚处于早期阶段。该研究已于今年10月在自然语言处理实证方法会议上发表。
via South China Morning Post