Music Arena v1.1 更新:新提示集与盲评投票
Music Arena v1.1 引入了包含 1,000 个提示的新提示集(每个基准 500 个),覆盖 17 种音乐流派,测试歌曲结构、情绪、器乐和声乐风格。评分现在完全来自招募评估小组的盲投票,更新后的排行榜基于超过 37,000 票。此次更新旨在反映现代提示行为和前沿音乐模型的能力。
Music Arena v1.1 引入了包含 1,000 个提示的新提示集(每个基准 500 个),覆盖 17 种音乐流派,测试歌曲结构、情绪、器乐和声乐风格。评分现在完全来自招募评估小组的盲投票,更新后的排行榜基于超过 37,000 票。此次更新旨在反映现代提示行为和前沿音乐模型的能力。
SynthePulse Insight · AI 深度解读
版本 1 · 1 个来源
Artificial Analysis 发布 Music Arena v1.1,以 1,000 条新提示词、17 个流派和纯盲测评审团投票重建 AI 音乐评测,并公布超过 37,000 条盲测人类偏好投票。真正值得注意的不是数字规模,而是它把公开投票排除在评分之外这一制度选择。
Artificial Analysis 推出 Music Arena v1.1,包含 AA-Music-Vocal v1.1 与 AA-Music-Instrumental v1.1 两个新基准。与常见的“榜单更新”不同,这次改动同时替换了提示词集与评分来源:提示词是全新构建的 1,000 条,每个基准各 500 条;评分则完全来自其招募评审团的盲测投票,公开 Arena 投票不计入评分。
把这两项改动放在一起看,v1.1 更像是对“用什么题、由谁来判”这两个前提的重写。Artificial Analysis 称,过去 3 个月出现了 Suno v6 等旗舰模型发布,这是此次基准更新的背景(该表述属来源说法,具体清单与影响来源未展开)。
新版提示词集共 1,000 条,在 17 个流派间进行策划与平衡,涵盖从古典、爵士与布鲁斯到 EDM、金属和雷鬼。这种“先定流派配额、再分配题目”的做法,使流派覆盖成为可核对的结构,而不是事后统计的结果。
Artificial Analysis 称,每条提示词测试歌曲结构、情绪、配器或演唱风格,且提示词更长更复杂,以反映当下的提示行为与前沿音乐模型的新兴能力。这一关于“更长更复杂”的判断属来源说法,来源未给出与旧版提示词的长度或复杂度对比数据。
该帖还展示了多条示例提示词,例如韩式舞曲流行、孟菲斯深南部灵魂乐、科技浩室、六十年代末摇滚 steady、浪漫主义圣咏安魂曲以及电子游戏 Boss 战配乐等风格描述。这些示例说明提示词在流派与场景上的跨度,但来源未说明示例提示词与最终用于评分的提示词是否完全一致。
v1.1 最实质的制度变化是评分来源:评分完全来自招募评审团的盲测投票,公开 Arena 投票不计入评分。这意味着公开投票仍可作为参与入口存在,但不再影响排名。
需要区分的是,“公开投票不计入评分”是已确认的规则设定;而评审团如何招募、规模多大、成员构成如何,来源均未说明。盲测投票的统计方法、置信区间与模型排名结果,来源同样未给出。因此可以确认的是评分口径被收窄,无法确认的是这一口径下的结果是否更稳定。
更新后的排行榜上线时带有超过 37,000 条盲测人类偏好投票,其中 AA-Music-Vocal v1.1 获得超过 16,000 条,AA-Music-Instrumental v1.1 获得超过 21,000 条。两个基准的票数相加与总数一致。
Artificial Analysis 同时称,每个上榜模型都获得超过 2,000 条投票。这一条给出了单模型票数的下限,但来源未说明上榜模型的具体数量,因此“超过 2,000 条/模型”与总投票数之间的模型数量关系不明。
所有上述数字均来自 Artificial Analysis 自身发布,无第三方独立验证。它们可以确认“发布了什么”,但不能被当作外部核验过的评测结论。
在 AA-Music-Vocal v1.1 中不提供歌词,因此该基准衡量的是各模型的端到端歌曲创作能力。这一设定把“写词”也纳入被评测范围,而不是让模型只负责把给定文本唱出来。
该表述属来源说法。来源未说明这一设计对可比性的具体影响,也未给出歌词缺失条件下评审团如何判断演唱与文本匹配度的细节。
把已确认事实与来源说法分开,是理解这次更新的前提。已确认的是:两个新基准上线、1,000 条提示词(每基准 500 条)、17 个流派、评分仅来自评审团盲测投票、超过 37,000 条总投票及其 16,000/21,000 的拆分、每个上榜模型超过 2,000 条投票,以及官方公布了两个排行榜链接并邀请用户在 Music Arena 投票。
属来源说法的是:提示词更长更复杂、Vocal 基准不提供歌词因而衡量端到端创作、以及“过去 3 个月旗舰模型发布”作为更新背景。来源未说明评审团招募与规模、统计方法与置信区间、排名结果,也未说明示例提示词与评分提示词是否一致。
此外,该帖为 X 平台发布,部分内容为转发或重复,信息完整性有限。因此本文能确认的是基准的构成与规则,不能确认的是这些规则产出了怎样的排名,以及排名是否经得起独立复核。
本文全部事实来自 Artificial Analysis 在 X 平台发布的 Music Arena v1.1 更新帖(article_id 21078),属第一方发布但无第三方独立验证。文中已区分 confirmed(基准构成、提示词与流派数量、投票口径与票数、排行榜链接)与 source_claim(提示词更长更复杂、Vocal 不提供歌词的设计意图、旗舰模型发布背景)。评审团招募方式、规模、统计方法与最终排名结果均未在来源中出现,故未作任何推断性补充。
Music Arena v1.1 的看点不在 37,000 这个数字,而在它把评分权从公开投票收归到招募评审团的盲测投票,并用 1,000 条、17 个流派的配额化提示词重建题目。规则层面可以确认,结果层面仍待验证。
主报道
主报道来源