MOA

Cloudflare Workers AI 上的 Mixture-of-Agents 服务

基于 Mixture-of-Agents 论文，在 Cloudflare Worker 上实现多层 MoA 推理编排，通过 Anthropic Messages API 和 MCP 两种协议接入 Claude Code / 任意 LLM 客户端。

用多个中小模型组合逼近前沿模型能力——不需要 Claude Fable 5 / gpt-5.6-sol 的预算，也能获得多视角、可复核、低幻觉的复杂任务处理。

背景

OpenRouter 前阵子在 DRACO 深度研究基准上做了个实验：Gemini 3 Flash + Kimi K2.6 + DeepSeek V4 Pro 三个模型 Fusion 起来，得分 64.7%，和 Claude Fable 5 单跑的 65.3% 只差 0.6 个百分点，而单任务成本大约只有一半。详见 OpenRouter Fusion。

结论很直接：单个模型不是终点，多个模型合体很多时候比单模型更强。

但 OpenRouter 的 Fusion 是云端服务。我更想要的是：

模型可以换、供应商可以换、路由策略可以改
跑在免费 / 便宜的边缘推理上
最好支持各种 api 格式

于是就有了这个项目。

架构

请求
  │
  ├─ Layer 0: AnySearch 联网检索（可选）
  │    └─ 检索结果注入 <CONTEXT>，为深度研究任务提供证据
  │
  ├─ Layer 1: N 个 proposer 并行（不同模型提供多样化视角）
  │
  ├─ Layer 2: judge 冲突分析
  │    └─ 产出 CONSENSUS / CONFLICTS / OMISSIONS / UNSUPPORTED 清单
  │
  └─ Layer 3: aggregator（synthesizer）
       └─ 基于候选答案 + judge 分析综合最终答案，非简单拼接

功能

功能	说明
Cloudflare Worker + Workers AI	`env.AI` 远程 binding，边缘推理
Anthropic Messages API	`/v1/messages` 非流式 + SSE 流式，Claude Code 透明接入
MCP Streamable HTTP	`/mcp` JSON-RPC，工具 `moa_reason`
三层 MoA 编排	proposer → judge → synthesizer，可配置为两层
联网搜索	AnySearch / Tavily / SerpAPI 可插拔，best-effort 注入上下文
自由模型组合	12 个前沿模型可选，URL / MCP / 配置页三入口自由组合
模型预设	Preset A（最强）/ B（均衡）/ C（对标 DeepSeek+Kimi+Qwen）
调用限制	预算 / 并发 / 超时 / 重试 / 输出大小全部可配置
中英文支持	`auto` / `zh-CN` / `en-US`
配置页	Web UI 一键生成 curl / MCP JSON 配置

可用模型

短名	Workers AI binding	特点
`kimi-k2.7-code`	`@cf/moonshotai/kimi-k2.7-code`	reasoning + agentic + vision + code
`glm-5.2`	`@cf/zai-org/glm-5.2`	reasoning + agentic + code
`kimi-k2.6`	`@cf/moonshotai/kimi-k2.6`	reasoning + agentic + vision
`nemotron-3-120b-a12b`	`@cf/nvidia/nemotron-3-120b-a12b`	120B reasoning
`gpt-oss-120b`	`@cf/openai/gpt-oss-120b`	aggregator 默认，便宜
`gpt-oss-20b`	`@cf/openai/gpt-oss-20b`	fast
`gemma-4-26b-a4b-it`	`@cf/google/gemma-4-26b-a4b-it`	vision + 便宜
`qwen3-30b-a3b`	`@cf/qwen/qwen3-30b-a3b-fp8`	reasoning
`glm-4.7-flash`	`@cf/zai-org/glm-4.7-flash`	flash
`qwen2.5-coder-32b`	`@cf/qwen/qwen2.5-coder-32b-instruct`	code
`mistral-small-3.1-24b`	`@cf/mistralai/mistral-small-3.1-24b-instruct`	—
`llama-3.3-70b`	`@cf/meta/llama-3.3-70b-instruct-fp8-fast`	70B

预设组合：

预设	组合	说明
A	`kimi-k2.7-code/glm-5.2/nemotron-3-120b-a12b/kimi-k2.6`	3 前沿 proposer + kimi-k2.6 aggregator，最强
B	`kimi-k2.7-code/glm-5.2/nemotron-3-120b-a12b/gpt-oss-120b`	proposer 全前沿，aggregator 省
C	`kimi-k2.6/qwen3-30b-a3b/glm-5.2/gpt-oss-120b`	对标 DeepSeek+Kimi+Qwen Fusion

组合格式：proposer1/proposer2/.../aggregator（最后一个为 aggregator）。

快速开始

部署

npm install
npm run typecheck

# 配置鉴权 token
cp .dev.vars.example .dev.vars  # 编辑 .dev.vars 填入 token

# 部署到 Cloudflare
npx wrangler secret put MOA_AUTH_TOKEN
npm run deploy

接入 Claude Code

在 ~/.claude/settings.json 中配置：

{
  "env": {
    "ANTHROPIC_AUTH_TOKEN": "<你的 MOA_AUTH_TOKEN>",
    "ANTHROPIC_BASE_URL": "https://<worker-domain>",
    "ANTHROPIC_DEFAULT_OPUS_MODEL": "kimi-k2.7-code/glm-5.2/nemotron-3-120b-a12b/kimi-k2.6",
    "ANTHROPIC_DEFAULT_SONNET_MODEL": "kimi-k2.7-code/glm-5.2/nemotron-3-120b-a12b/gpt-oss-120b",
    "ANTHROPIC_DEFAULT_HAIKU_MODEL": "moa-haiku",
    "API_TIMEOUT_MS": "300000"
  }
}

ANTHROPIC_BASE_URL 填 Worker 域名根地址，不要追加 /v1。模型字段可以是别名（moa-opus）或组合字符串（含 /）。

联网搜索（可选）

为深度研究任务（如 DRACO 基准）启用联网检索：

# wrangler.jsonc 已默认启用 anysearch
# 配置 API key（可选，无 key 也可用，只是限频更低）
npx wrangler secret put ANYSEARCH_API_KEY

支持的搜索引擎：AnySearch（默认）/ Tavily / SerpAPI，通过 MOA_SEARCH_PROVIDER 环境变量切换。

配置

环境变量	默认值	说明
`MOA_AUTH_TOKEN`	—	鉴权 token（必设）
`MOA_JUDGE_ENABLED`	`false`	启用三层 MoA（judge 层）
`MOA_SEARCH_PROVIDER`	`none`	搜索引擎：`anysearch` / `tavily` / `serpapi` / `none`
`MOA_SEARCH_MAX_RESULTS`	`5`	每次检索返回结果数
`MOA_MAX_PROPOSERS`	`3`	proposer 数量上限
`MOA_MAX_AI_CALLS`	`4`	单次请求 AI 调用预算
`MOA_MAX_CONCURRENT_AGENTS`	`3`	并行 Agent 数
`MOA_REQUEST_TIMEOUT_MS`	`120000`	请求超时
`MOA_MAX_OUTPUT_TOKENS`	`16384`	单 Agent 输出 token 上限
`ANYSEARCH_API_KEY`	—	AnySearch API key（可选）
`TAVILY_API_KEY`	—	Tavily API key
`SERPAPI_API_KEY`	—	SerpAPI API key

完整配置见 wrangler.jsonc。

API 端点

端点	方法	说明
`/health`	GET	健康检查（无需鉴权）
`/v1/models`	GET	模型列表
`/v1/messages`	POST	Anthropic Messages API（非流式 + SSE）
`/mcp`	POST	MCP JSON-RPC（`moa_reason` 工具）
`/`	GET	配置页 Web UI

示例

WORKER_URL="https://your-worker.workers.dev"
TOKEN="<your-token>"

# Messages API — 用预设组合
curl -s $WORKER_URL/v1/messages \
  -H "x-api-key: $TOKEN" \
  -H "Content-Type: application/json" \
  -d '{"model":"kimi-k2.7-code/glm-5.2/nemotron-3-120b-a12b/kimi-k2.6","max_tokens":1024,"messages":[{"role":"user","content":"解释 Cloudflare Worker 是什么"}]}'

# Messages API — 用别名
curl -s $WORKER_URL/v1/messages \
  -H "x-api-key: $TOKEN" \
  -H "Content-Type: application/json" \
  -d '{"model":"moa-opus","max_tokens":256,"messages":[{"role":"user","content":"What is 2+2?"}]}'

评测

基础基准（GSM8K / ARC / C-Eval）

bash evalscope/run_eval.sh 10

历史结果：70 题，整体准确率 98.6%。

DRACO 深度研究基准

DRACO 是 Perplexity AI 提出的深度研究评测集（100 个复杂任务，覆盖学术 / 金融 / 法律 / 医疗 / 技术等 10 个领域），考的是搜索、理解、综合、引用能力。OpenRouter 在此基准上测得 Claude Fable 5 单跑 65.3%，而 Gemini 3 Flash + Kimi K2.6 + DeepSeek V4 Pro 的 Fusion 组合 64.7%——本仓库对标该结果，达标阈值 ≥ 60%：

DATASETS="draco" bash evalscope/run_eval.sh 100

DRACO 100 个深度研究任务，4 维度 rubric（factual accuracy / breadth & depth / presentation quality / citation quality），LLM-as-judge 评分。需启用联网搜索。

当前结果（Preset A，AnySearch 免费档）：overall 均值 18.6%，中位数 0.0%，仅 10% 任务 ≥ 60%。未达对标 Fable 5 的目标。

拆解后发现主因是基础设施超时而非答案质量：100 题中 59 题 prediction 阶段连接失败（worker 内部 MOA_REQUEST_TIMEOUT_MS=120s 不够 MoA 五步调用），剩余 41 题真有答案的 overall 均值 45.5%、≥60% 占比 24%。也就是说 18.6% 的低分主要被超时拉下去，而非模型能力本身。下一步优先级：(1) 放宽 worker/eval 超时 + 重试，先把 59% 失败率压下来；(2) 给 aggregator 传入检索源并强制引用规范，提升 citation（当前 9.1%）；(3) 增加每任务检索次数（当前 maxQueries=1 偏薄）。基础基准（GSM8K / ARC / C-Eval）98.6% 表明推理与知识能力本身可用。

项目结构

src/
├── index.ts              # 入口路由
├── config.ts             # 运行时配置
├── contracts.ts          # 类型定义
├── env.ts                # 环境变量接口
├── anthropic/            # Anthropic Messages API 兼容层
│   ├── route.ts          # /v1/messages 路由
│   ├── stream.ts         # SSE 流式
│   └── models.ts         # 公开模型别名
├── moa/                  # MoA 编排核心
│   ├── orchestrator.ts   # 多层编排（Layer 0-3）
│   ├── search.ts         # 联网搜索 provider
│   ├── prompts.ts        # proposer/judge/aggregator prompt
│   ├── profiles.ts       # 执行计划
│   └── model-selection.ts # 模型组合解析
├── workers-ai/           # Workers AI 适配
│   ├── adapter.ts        # 调用 + 重试
│   └── models.ts         # 模型白名单 + 预设
├── mcp/                  # MCP 协议
└── limits/               # 预算/并发/超时
evalscope/                # 评测脚本
wrangler.jsonc            # Cloudflare Worker 配置

本地开发

npm install
cp .dev.vars.example .dev.vars  # 填入本地测试 token
npm run dev                      # http://127.0.0.1:8787

技术栈

Cloudflare Workers AI（边缘推理，12+ 模型可选）
TypeScript + Wrangler 4
Anthropic Messages API 兼容协议
MCP（Model Context Protocol）Streamable HTTP
AnySearch / Tavily / SerpAPI（联网搜索）
EvalScope（评测框架）

License

MIT

Name		Name	Last commit message	Last commit date
evalscope		evalscope
src		src
test		test
.claude-code.env.example		.claude-code.env.example
.dev.vars.example		.dev.vars.example
.gitignore		.gitignore
.mcp.json.example		.mcp.json.example
README.md		README.md
package-lock.json		package-lock.json
package.json		package.json
tsconfig.json		tsconfig.json
vitest.config.ts		vitest.config.ts
wrangler.jsonc		wrangler.jsonc

Navigation Menu

Repository navigation

About

Repository files navigation

MOA

背景

架构

功能

可用模型

快速开始

部署

接入 Claude Code

联网搜索（可选）

配置

API 端点

示例

评测

基础基准（GSM8K / ARC / C-Eval）

DRACO 深度研究基准

项目结构

本地开发

技术栈

License

About

Releases

Packages

Contributors

Languages

Latest commit

History

Folders and files

Repository files navigation

MOA

背景

架构

功能

可用模型

快速开始

部署

接入 Claude Code

联网搜索（可选）

配置

API 端点

示例

评测

基础基准（GSM8K / ARC / C-Eval）

DRACO 深度研究基准

项目结构

本地开发

技术栈

License

About

Topics

Resources

Stars

Watchers

Forks

Releases

Packages

Contributors

Languages