大模型评测 — smoke-codegen

步骤:codegen · 裁判:google/gemini-3.1-pro-preview · 2026-09-16T03:27:54.631Z
怎么读这份报告 —— 两个透镜: 战绩(胜–负–平)是成对偏好排名 —— 每个模型在若干场捉对中的胜负平(单一裁判、正反消偏)。它可靠地表达方向,但分辨率粗:对局少时,0 意味「每场都输」,而非「输出差」。绝对分(1–5)是对每份输出单独打的分 —— 看它才能判断质量差距的大小(强的亚军仍紧贴冠军,比如 4.2 对 4.5,即使 0 胜)。两者都不是百分制;提高 trials 和输入数量可让二者更精确。

CODEGEN

🏆 sonnet-5 · 1 场对局中胜出 1 场 · 战绩 1–0–0 (胜–负–平) · 绝对分 5.0/5

Output A is superior because it safely handles prototype property collisions (e.g., '?toString=1') and keeps the code DRY with a decode helper.

综合排名

#模型战绩 胜–负–平绝对分 1–5tsc 通过平均成本平均延迟成功率
1 sonnet-5
1–0–0 共 1 场 · 100%		 5.0 100% $0.0069 5.7s 100%
2 deepseek-v4-pro
0–1–0 共 1 场 · 0%		 5.0 100% $0.0087 53.1s 100%

维度剖面 — 1–5 绝对分 · 雷达(圆心 1,边缘 5)

sonnet-5deepseek-v4-pro
符合规格正确性类型质量简洁性健壮性2345sonnet-5 · 符合规格: 5.0/5sonnet-5 · 正确性: 4.0/5sonnet-5 · 类型质量: 5.0/5sonnet-5 · 简洁性: 5.0/5sonnet-5 · 健壮性: 5.0/5deepseek-v4-pro · 符合规格: 5.0/5deepseek-v4-pro · 正确性: 5.0/5deepseek-v4-pro · 类型质量: 5.0/5deepseek-v4-pro · 简洁性: 5.0/5deepseek-v4-pro · 健壮性: 5.0/5

维度偏好 — 对局胜率,相对

模型符合规格正确性类型质量简洁性健壮性
sonnet-55010050100100
deepseek-v4-pro5005000
对决理由 · 总体 + 2 处维度分歧(共 1 场对比)

这些是单场、相对 A/B 的裁判理由(单一输入、仅取首个成功输出),不是该维度的综合质量评价;维度层只列出与总体判定不一致的项(标 ⚠,即真正的取舍点),一致的已隐藏。绝对质量请看上方「绝对分 1–5」表。

输入AB维度胜者理由
code-utils sonnet-5 deepseek-v4-pro 总体 sonnet-5 Output A is superior because it safely handles prototype property collisions (e.g., '?toString=1') and keeps the code DRY with a decode helper.
code-utils sonnet-5 deepseek-v4-pro 符合规格 ⚠ 平局 Both implementations meet the core requirements of parsing a query string into a dictionary of strings or string arrays.
code-utils sonnet-5 deepseek-v4-pro 类型质量 ⚠ 平局 Both use appropriate TypeScript types and avoid 'any' or unsafe casts.