Open ASR排行榜新增首个全球南方语言

Open ASR 排行榜的维护者指出，基准测试决定了哪些模型会被采用和迭代，而未被衡量的能力往往不会改进。近期工作集中在让评估指标更可信：使用私有分割、分析基准拟合程度、缩小归一化器差距。但这些改进最终仍归结为一个数字——词错误率（WER）。

研究表明，ASR 错误率在不同人群间分布不均：商业系统对黑人说话者的错误率约为白人的两倍，性别、年龄和口音也会造成差异。这些差异在排行榜上不可见，因为测试集只记录说了什么，几乎不记录说话者是谁。

为弥补这一空白，VoiceArena 与 Hugging Face 合作推出 Monsoon 评测集。其设计原则是：测试集只能暴露它沿之变化的失败模式。Monsoon 沿九个轴变化：地理、年龄、性别、词汇、设备、声学环境、语音类型、语速，以及同一音频存在多个有效转录的可能性。

数据收集方法刻意区别于传统基准：在数百个地区招募贡献者，而非在少数地点长时间录制；贡献者使用自己的手机和网络，在室内外录制；提示词引导日常话题，促使贡献者表达观点、分歧、叙述和回忆，从而自然出现命名实体、数字和非排练措辞。年龄和性别经核实记录。

Monsoon 包含四个分割：印度英语公开集（5.62 小时，1,444 位说话人）、印度英语私有集（5.58 小时，1,405 位说话人）、印地语公开集（1.33 小时，468 位说话人）、印地语私有集（4.47 小时，1,571 位说话人）。所有分割均为自发双通道对话的单通道片段，每个片段对应一位说话人。

除表格字段外，每个片段还记录职业、教育、婚姻状况、收入区间、手机品牌、当前城市和在该地区居住年数。印度英语公开集覆盖 428 个地区、30 个邦和中央直辖区；印地语集覆盖 202 至 295 个地区。设备型号从 315 到 582 种不等，任何单一型号在任一子集中的占比不超过 2.1%。

Monsoon 的时长虽小，但说话人数量庞大，这是其核心价值。前十大贡献者占总时长的 2.8% 至 6.8%，超过一半的说话人仅出现一次。这意味着结果是对数百个不同声音的平均，而非少数说话人的长时间录音。

印度英语并非单一口音：公开集中，35% 的片段来自南部说话人，东部和中部各占 18%，北部占 16%，西部占 11%。这种口音多样性记录在元数据中，而非主观断言。

英语集使用标准字符串参考，由排行榜的归一化器处理拼写变化。但印地语的拼写变体无法通过固定映射的归一化器解决，因此印地语集采用“格栅”参考：对于转录的每个片段，提供一份被接受为正确的拼写列表。

这一设计承认了印地语正字法的复杂性，确保正确的预测变体不会因归一化不足而被错误惩罚。

Monsoon 为每个片段提供 18 列数据，其中 12 项是元数据，而大多数公共 ASR 测试集仅提供标识符、转录和时长。人口统计字段完整或接近完整，贡献者已同意使用。

元数据分组包括：片段（ID、音频、时长、语言）、参考（格栅或文本）、说话人（ID、性别、出生日期）、背景（职业、教育、婚姻状况、收入）、地理（出生地区、出生邦、当前城市、居住年数）。