测试集:Design Arena

名称	Design Arena
类别	arena
主办方	Arcada Labs（YC S25），2025-07 上线
开源状态	partial
网址	官方页面

design-arena四人锦标赛制：同题出稿、5 场两两匿名对战排 1-4 名、按品类独立出榜（网站/UI/游戏/数据可视化/图像/视频）、Bradley-Terry 迭代收敛，Rating = 400 × log₁₀(strength)、不足 50 场对比不上主榜，低样本标 preliminary、Builders（IDE 建站工具）/ Agents 赛道 + 公开 API输入值为“四人锦标赛制：同题出稿、5 场两两匿名对战排 1-4 名、按品类独立出榜（网站/UI/游戏/数据可视化/图像/视频）、Bradley-Terry 迭代收敛，Rating = 400 × log₁₀(strength)、不足 50 场对比不上主榜，低样本标 preliminary、Builders（IDE 建站工具）/ Agents 赛道 + 公开 API”的属性“特征”（作为页面类型）含有无效字符或不完整，因此会在查询或注解过程中导致预期外结果。

测试集content/benchmarks/design-arena.md

一句话

四个 AI 匿名比设计，真人盲投排出名次

测什么

专测 AI「设计品味」的众包盲测榜：传统榜单测功能对不对，它测东西好不好看、有没有审美。覆盖网站、UI 组件、游戏、数据可视化、图像、视频等品类，各品类独立出榜。除直接比基础模型外，还设 Builders 赛道对比 Lovable 类 IDE 建站工具、以及 Agents 赛道。官方把自己定位成「一面镜子而非记分牌」——观察当前模型在设计上的真实水平和风格倾向。

怎么测

特色是四人锦标赛制：每轮从模型池随机抽 4 个模型（另备 1 个替补），同一 prompt 同时出稿，匿名两两对战共 5 场（初赛 2 场 + 胜/负者组 + 加赛），用户逐场投票，最终把 4 份作品排出 1-4 名，每场对比计一票。票数喂给 Bradley-Terry 模型迭代收敛（阈值 0.0001 或 200 轮），Rating = 400 × log₁₀(strength)；不足 50 场对比的模型不上主榜，不足约 200 场的标记为 preliminary。模型身份全程隐藏防品牌滤镜，榜单有公开 API。

典型任务

比如用户输入「给我做一个极简风的咖啡订阅落地页」，4 个匿名模型同时交出整页设计，用户挨个翻看，两两对比投票直到排出名次；或者「设计一个数据仪表盘」「做一张专辑封面」，图像和视频品类同理——同一段文案各家出图出片，盲投最顺眼的那个。Builders 赛道则是同一句话丢给不同的 AI 建站工具，比谁一键生成的网站更能看。

分数怎么看

榜单同时报 Elo 式 Rating 和胜率，看同一品类内的分差才有意义，不要跨品类比（做网站强不代表出图强）。新模型票数少时排名波动大，官方对低样本模型标 preliminary，看榜时留意。

含金量与局限

2025 年中才上线的草根新榜，样本量和投票者构成都远不如 LMArena 稳定；「品味」本身高度主观，头部差距往往靠审美偏好而非硬伤拉开。Builders 赛道官方自承只是 best-effort 的一发式对比，多轮迭代等真实使用方式尚未覆盖。

冷知识

官方把定位写成「一面镜子，而非记分牌」，还顺手公开了用户 prompt 的十四大类分布统计——也就是说它不仅评比 AI 的设计，还顺带记录「大家到底最想用 AI 设计什么」。

数据来源

本页由仓库 content/benchmarks/design-arena.md 初始化。后续修订通过公开审核队列发布。