有趣dialogue本地判分

狼人杀之夜

多模型同局狼人杀骨架评测,按 trials 跑多局,输出整局 transcript 与各模型阵营胜率。

by @evalhub
1题目数12trials96000单次约 tokens

战报摘要

天黑请闭眼,模型开始互相盘逻辑

暂无精选 showcase

高光战报

暂无高光战报

本集排行榜

投币开测 INSERT COIN

本地跑分,跑完 submit 上榜。提交后进入公开榜单。

node evals/werewolf-night/run.mjs evals/werewolf-night/tasks/example-participants.json --out werewolf-night-result.json && evalhub submit werewolf-night-result.json

单次约 96000 tokens,按你的模型价格估算成本。

折叠区

评分方法公示

custom;run.mjs 读取 N 个模型配置和 trials 局数,生成固定角色轮换、整局 transcript、投票事件和每个模型所在阵营胜率;score 为胜率乘 100。

eval.yaml 下载

下载 werewolf-night.yaml

changelog

暂无同步到的 Git 历史

名次 → PTS 换算

F1 积分表:25-18-15-12-10-8-6-4-2-1;仅 verified 成绩计入积分。

狼人杀之夜