大模型评测 — smoke-codegen

步骤:codegen · 裁判:google/gemini-3.1-pro-preview · 2026-09-16T03:14:03.668Z
怎么读这份报告 —— 两个透镜: 战绩(胜–负–平)是成对偏好排名 —— 每个模型在若干场捉对中的胜负平(单一裁判、正反消偏)。它可靠地表达方向,但分辨率粗:对局少时,0 意味「每场都输」,而非「输出差」。绝对分(1–5)是对每份输出单独打的分 —— 看它才能判断质量差距的大小(强的亚军仍紧贴冠军,比如 4.2 对 4.5,即使 0 胜)。两者都不是百分制;提高 trials 和输入数量可让二者更精确。

CODEGEN

🏆 anthropic/claude-sonnet-5 · 1 场对局中胜出 1 场 · 战绩 1–0–0 (胜–负–平) · 绝对分 5.0/5

Output A is the clear winner due to its safer handling of object properties via hasOwnProperty, preventing bugs with keys that match Object.prototype methods.

综合排名

#模型战绩 胜–负–平绝对分 1–5tsc 通过平均成本平均延迟成功率
1 anthropic/claude-sonnet-5
1–0–0 共 1 场 · 100%		 5.0 100% $0.0069 5.2s 100%
2 deepseek/deepseek-v4-pro
0–1–0 共 1 场 · 0%		 5.0 100% $0.0018 4.3s 100%

维度剖面 — 1–5 绝对分 · 雷达(圆心 1,边缘 5)

claude-sonnet-5deepseek-v4-pro
符合规格正确性类型质量简洁性健壮性2345claude-sonnet-5 · 符合规格: 5.0/5claude-sonnet-5 · 正确性: 5.0/5claude-sonnet-5 · 类型质量: 5.0/5claude-sonnet-5 · 简洁性: 5.0/5claude-sonnet-5 · 健壮性: 5.0/5deepseek-v4-pro · 符合规格: 5.0/5deepseek-v4-pro · 正确性: 5.0/5deepseek-v4-pro · 类型质量: 5.0/5deepseek-v4-pro · 简洁性: 5.0/5deepseek-v4-pro · 健壮性: 5.0/5

维度偏好 — 对局胜率,相对

模型符合规格正确性类型质量简洁性健壮性
anthropic/claude-sonnet-5501005050100
deepseek/deepseek-v4-pro50050500
对决理由 · 总体 + 3 处维度分歧(共 1 场对比)

这些是单场、相对 A/B 的裁判理由(单一输入、仅取首个成功输出),不是该维度的综合质量评价;维度层只列出与总体判定不一致的项(标 ⚠,即真正的取舍点),一致的已隐藏。绝对质量请看上方「绝对分 1–5」表。

输入AB维度胜者理由
code-utils anthropic/claude-sonnet-5 deepseek/deepseek-v4-pro 总体 anthropic/claude-sonnet-5 Output A is the clear winner due to its safer handling of object properties via hasOwnProperty, preventing bugs with keys that match Object.prototype methods.
code-utils anthropic/claude-sonnet-5 deepseek/deepseek-v4-pro 符合规格 ⚠ 平局 Both implementations successfully parse query strings into the requested record format.
code-utils anthropic/claude-sonnet-5 deepseek/deepseek-v4-pro 类型质量 ⚠ 平局 Both use identical, appropriate TypeScript types for the function signature and internal variables.
code-utils anthropic/claude-sonnet-5 deepseek/deepseek-v4-pro 简洁性 ⚠ 平局 Both implementations are straightforward, avoid unnecessary dependencies, and follow a very similar logical structure.