神机妙算 · 命理 AI 评测台内测 · Beta

同题、同规则、可复现地评测命理 AI 系统。答对率对标全球算命师大赛真题。

口径说明。下方"参赛榜"为各系统实时提交成绩（当前开放 public_dev 自测集与 public_test 自查集， 非官方排名——这两套题的答案已随赛事公开）。真正的官方排行榜将使用服务端私有、未公开的新题集，待新赛季题接入后开放。 "参考成绩"与"人类基准"为已发表研究与一手赛会奖表的历史数据，仅作标尺。

参赛榜 · public_test（自查集，非官方）

各系统对同一批题作答，服务端判分。仅满 100% 覆盖的提交入榜（缺答按错计）。

#	系统	赛道	Top-1	vs 榜首 p
尚无提交 —— 成为第一个应试的系统 · 见页脚接入方式

快速开始 · 5 分钟交第一次卷

你用自己的命理 AI 答题，把答案 JSON 交上来，服务端判分——正确答案永不下发。命令里的地址已指向本站。

① 注册，拿 API key

curl -X POST /v1/apps/register \
  -H 'Content-Type: application/json' \
  -d '{"name":"你的队名","track":"offline"}'

返回 apiKey 与 datasetVersion（提交时都要带）。

② 领题（永不含答案）

curl /v1/papers/public_test -H 'x-api-key: 你的KEY'

每题给：命主生辰、题面、四个选项。没有 answer 字段。

③ 离线作答（在你自己的系统里）

用你的命理 AI 算出每题选哪个，攒成 {题目id: "A/B/C/D"}。服务端不管你怎么算的。

④ 提交判分

curl -X POST /v1/submissions \
  -H 'x-api-key: 你的KEY' -H 'Content-Type: application/json' \
  -d '{"set_id":"public_test","dataset_version":"你拿到的版本号",
       "answers":{"题目id":"B","...":"..."},"meta":{"model":"你的系统名"}}'

须答满 100%才入榜（缺答按错）。之后 GET /v1/tasks/{id} 看分、GET /v1/leaderboard/public_test 看榜。

最小 Python 示例 · MCP 接法

import requests
B = ""
reg = requests.post(f"{B}/v1/apps/register", json={"name":"队名","track":"offline"}).json()
paper = requests.get(f"{B}/v1/papers/public_test", headers={"x-api-key":reg["apiKey"]}).json()
answers = {r["id"]: your_fortune_ai(r) for r in paper["records"]}  # 你的命理AI给每题选字母
sub = requests.post(f"{B}/v1/submissions", headers={"x-api-key":reg["apiKey"]},
    json={"set_id":"public_test","dataset_version":reg["datasetVersion"],
          "answers":answers,"meta":{"model":"你的系统"}}).json()
print(requests.get(f"{B}/v1/tasks/{sub['task_id']}", headers={"x-api-key":reg["apiKey"]}).json())

MCP：六个工具 register_team / list_exam_sets / get_exam_paper / submit_answers / get_task / get_leaderboard，与 HTTP 一一对应。完整规范见 OpenAPI。

参考成绩 · 方法论对照（六流派 + 统计学）

同题、同排盘、只换方法论层的对照实验（"全集口径"，缺答按错，与本站评分口径一致）。六大流派各 2 份独立提示词 × 三个底模；末行"人口基率提示控制"（禁用命理、只按人口基率作答）为统计学对照。探索性

排盘对照命理流派臂统计对照（禁用命理）三底模各自得分

柱长 = 三底模均值答对率（0–44% 轴，从零起画）；虚线 = 仅排盘对照均值 36.2%—— 没有任何流派臂越过它。每根柱上的空心点是三个底模各自的分，散得越开越不稳定。

展开逐底模精确数字

臂（方法论）	deepseek-v4-pro	gemini-3.1-pro	opus-4.8	均值

本次实验没有观察到任何流派臂稳定超过「仅排盘」对照（均值 36.2% 居首；铁板-v2 36.0% 仅差 0.2pp，配对区间跨零，不构成可靠排序）。各底模排序波动大——只能读作"没观察到稳定正收益"，不能读作"证明流派无效"或"六类方法等价"。命律（1991 量化判决式）三底模一致偏低，作负向信号。末行人口基率提示控制（禁用命理）在另一轮单模型实验中全集 27.0%，显著偏低——但这不代表"统计学不如命理"，也不能单独证明题库存在反基率选择偏差。
口径注：六流派为三底模遮蔽实验（200 题）；人口基率控制仅在 deepseek 上作为对照测得（另一轮实验），故只有一列。单点勿过度解读（三种子一致性 κ 仅 0.36–0.52）。这些是方法论隔离实验，非任何完整产品。

人类基准 · 全球算命师大赛冠军

一手官方奖表转录，已还原为原始答对率（官方"最终成绩"为截尾分，此处为原始正确率）。人类顶尖

柱长 = 冠军原始答对率（0–70% 轴）。冠军为逐年三千余名参赛者中的极端值，非人类平均。

关于"人类均值"。本页只列冠军（顶尖约 1%）——历届冠军均值约 48.9%，带宽 42.5%–65%。 全体参赛者的平均分我们没有可核验的原始数据，故不列出（三千余名参赛者多为业余，真实全体均值应显著低于冠军，但无来源不臆造）。另有转述称 2025 年前 20 名整体 ≈51.9%，两跳来源未独立核验，仅备注。

怎么参赛：注册取 API key → 领题（GET /v1/papers/public_test，永不含答案）→ 离线作答后 POST /v1/submissions 提交，服务端判分。也支持 MCP 接口。完整规范见 OpenAPI。

评分口径：Top-1 全集答对率（缺答按错）；命主聚类 bootstrap 95% CI；相邻名次配对置换检验（p≥0.05 即差异不显著，勿据点估计定高下）。私有集选项按队伍确定性重排，防背题与位置偏置。

开源复现：全部题库、评测系统、三盲实验冻结结果与确定性复算脚本已开源 —— github.com/chenmisss/mingli-benchmark。白皮书每个数字都可从冻结数据一键重算。

数据来源与版权：题目、答案、统计来自香港青年术数家协会（hkjfma.org）全球算命师大赛公开资料，用于非商业评测。事实性数据不受版权；题面仅评测引用、不重分发原文；命例为匿名案例。主办方 / 出题人 / 命主可请求下架。

本评测台由神机妙算 · sjms.ai 建设维护。　|　与主办方无隶属关系；成绩不构成对任何真实个人命运的断言。