← 所有指南

模型指南

Muse Spark Open:在 Hermes Agent 中使用 Meta 开源权重模型

Meta 的 816B 开源权重模型支持 100 万 token 上下文,两台 Mac Studio 就能本地运行。现在可以通过 OpenRouter 接入 Hermes,也可以让 Hermes 连接你自己的推理服务器。

发布于 2026 年 10 月 15 日 · 权重、价格与许可条款于发布日核实 · English guide

Meta 发布了什么?

Meta 于 10 月 15 日发布 Muse Spark Open,这是 Muse Spark 系列第一个可以下载权重的模型。之前的 Muse Spark 1.1 到 1.3 只能通过 API 使用。官方公告把它定位在长程 Agent 任务、复杂软件工程和多步推理上,正好是 Hermes Agent 日常在做的事。

Muse Spark Open
架构MoE:总参数 816B,每个 token 激活 42B
上下文100 万 token(OpenRouter 标注 1,048,576)
输入文本、图像、视频、音频、文件 → 文本输出
权重Hugging Face(需申请)、Amazon SageMaker AI、Google Cloud Model Garden、Microsoft Foundry
托管 APIOpenRouter、Together AI、Fireworks、Baseten、Nebius、Groq、Modal
推理框架SGLang、vLLM、TensorRT-LLM、Transformers、Apple MLX、llama.cpp、Unsloth
许可Muse Model License(见下文)

每个 token 只激活 42B 参数,所以生成速度比总参数量看上去快得多,这也是 Apple 芯片机器跑得动它的原因。不过整个模型仍然要全部装进内存。

Muse Spark Open 不在 Meta 自家的 Model API 上。 Meta 的模型文档写明,这个模型需要下载权重自行部署,或通过第三方推理服务调用。所以 Hermes 里连接 api.meta.ai 的 meta-ai 提供商调不到它,要改用 OpenRouter 或自己的服务器。

先选接入方式

OpenRouter(托管)自己的硬件
上手时间几分钟几小时,外加大体积下载
费用按 token 计费:每百万输入 $1.25 / 输出 $4.25硬件和电费,没有按 token 账单
数据发送给推理服务商留在你自己的机器上
Hermes 配置provider: openrouterprovider: custom + base_url

对大多数 Hermes 用户来说,先用 OpenRouter 最省事。数据不能出内网,或者你已经有硬件、机器人全天在跑,这时自建才划算。

在托管 Hermes 实例上切换

  1. 打开控制台,找到你的 Hermes 实例。
  2. 点击当前文本模型,选择 OpenRouter 提供商,搜索 Muse Spark Open。
  3. 精选列表里没有时,在完整 OpenRouter 目录中搜索 meta/muse-spark-open。也可以手动输入:选 自定义平台…,平台填 meta,模型 ID 填 muse-spark-open。这样会通过 OpenRouter 调用 meta/muse-spark-open。这里的 meta 只是目录命名空间,不是直连 Meta。
  4. 确认切换,等实例恢复就绪后开启新对话,并检查实例卡片显示的模型。

Muse Spark Open 是付费模型,不在免费试用范围内。如果你保存并启用了自己的 OpenRouter Key,OpenRouter 请求会用这个 Key;否则使用符合条件的托管额度。想直接由自己的 OpenRouter 账户付费,可以在 API 密钥页面添加 Key。托管实例无法加载自建权重,自建方案适用于运行在你自己机器上的 Hermes。

自建 Hermes:通过 OpenRouter

运行 hermes model,选择 OpenRouter,按提示填入 OpenRouter Key,再选择或输入 meta/muse-spark-open。对应的 ~/.hermes/config.yaml 配置是:

model:
  provider: openrouter
  default: meta/muse-spark-open

OPENROUTER_API_KEY 放在 Hermes 的凭据设置或 ~/.hermes/.env 里,不要写进这段配置。把这些字段合并进现有配置,不要覆盖整个文件。参考:Hermes 配置文档。

修改后开一个新的 CLI 会话。如果消息网关已经在运行,执行 hermes gateway restart,然后开启新对话。

自建 Hermes:连接自己的推理服务器

vLLM、SGLang、llama.cpp 和 MLX 都提供 OpenAI 兼容的 /v1 接口。Meta 的开发者文章给出了在四张 GPU 上运行 NVFP4 版本的 vLLM 启动命令。对 Hermes 最关键的是两个 muse 解析器;--served-model-name 是我们加的:

vllm serve meta-models/Muse-Spark-Open-816B-A42B-NVFP4 \
  --tensor-parallel-size 4 \
  --enable-expert-parallel \
  --max-model-len 1048576 \
  --reasoning-parser muse \
  --tool-call-parser muse \
  --enable-auto-tool-choice \
  --served-model-name muse-spark-open

发布时,PyPI 上的 vLLM 还跑不了这个模型,NVIDIA 显卡要在 vllm/vllm-openai:muse-spark-open Docker 镜像里运行上面的命令。AMD 显卡用 vllm/vllm-openai-rocm:muse-spark-open 镜像,配合另一个版本的权重(AMD 的 Quark MXFP4 或 BF16)和各自的参数,见 vLLM 的部署说明。vLLM 团队表示,支持代码合并后会提供 nightly 版本。Meta 的原版命令还开启了 DSpark 投机解码。SGLang 用同样的 --reasoning-parser muse --tool-call-parser muse。然后 Hermes 以自定义提供商连接(vllm、llamacpp 都是 custom 的别名):

model:
  provider: custom
  base_url: http://192.168.1.50:8000/v1
  default: muse-spark-open
  context_length: 262144
  • default 必须和服务器 /v1/models 返回的名称一致。 上面的 --served-model-name 就是用来设定它的;不加时名称是完整的 Hugging Face 仓库名。
  • context_length 填服务器实际允许的上限。 Hermes 一般能自动识别。但自建时为了省内存,常常把上下文压到 100 万以下,Hermes 需要知道真实上限才能及时压缩历史。上面的 262,144 只是示例,不是推荐值。
  • 保留 muse 工具调用解析器。 Hermes Agent 靠调用工具干活,而 Muse Spark Open 的工具调用有自己的格式。没有 --tool-call-parser muse 和 --enable-auto-tool-choice,工具调用会变成回复里的纯文本,Agent 就卡住了。服务器端的细节见 Hermes + vLLM 指南。
  • 思考强度只接受 low、medium、high、xhigh。 模型卡写明默认是 xhigh,Agent 任务建议用 high 或 xhigh,其他取值会直接报错。Hermes 还有 none、minimal、max 等档位,给这个模型设置思考强度时只用这四个。模型卡推荐 temperature 1.0、top_p 1.0。
  • 下载权重。 模型卡任何人都能看。下载官方权重需要填写法定全名、出生日期和机构名称,Meta 会人工审核每个申请。社区的 MLX 和 GGUF 转换版本无需申请。

需要什么硬件

Hugging Face 版本下载体积常见运行方式
meta-models/Muse-Spark-Open-816B-A42B(BF16,需申请)1,644 GB多 GPU 服务器上的 vLLM、SGLang、TensorRT-LLM
meta-models/Muse-Spark-Open-816B-A42B-NVFP4(需申请)533 GBNVIDIA Blackwell GPU;Meta 的 Mac 教程也用这个版本
mlx-community/Muse-Spark-Open-816B-A42B-4bit462 GBApple MLX,社区转换版本
mlx-community/Muse-Spark-Open-816B-A42B-3bit359 GBApple MLX,体积更小,精度损失更大

这些只是文件体积,不是总内存占用。长对话的 KV 缓存要另外算,你允许的上下文越长,缓存就越大。

Meta 给出的最低配置:

推理框架Meta 列出的硬件
vLLM 或 SGLang4 张 NVIDIA Blackwell Ultra,或 8 张 H200
TensorRT-LLM一台 4 卡 Blackwell 节点
Apple MLX两台 512 GB 的 M5 Ultra Mac Studio,或四台 256 GB 的
llama.cppGGUF 量化最低到 2-bit,可用 CPU、GPU 或混合运行

在 Mac 上,几台机器通过 Thunderbolt 5 直连并启用 RDMA,模型每一层都拆分到各台机器上。每台 M5 Ultra 最多 512 GB 统一内存、1.2 TB/s 带宽。Meta 的 Mac 部署教程加载的是官方 533 GB 的 NVFP4 版本,在 8080 端口提供 OpenAI 兼容接口:

mlx.launch --hostfile hostfile.json --backend jaccl --env MLX_METAL_FAST_SYNCH=1 -- \
  mlx_lm.server --model meta-models/Muse-Spark-Open-816B-A42B-NVFP4 --port 8080

mlx_lm.server 默认只监听 127.0.0.1。Hermes 和它在同一台 Mac 上时,base_url 填 http://127.0.0.1:8080/v1。要从别的机器访问,加上 --host 并填 Mac 的局域网地址,同时别把这个端口暴露到公网,因为这个服务没有登录验证。default 填 /v1/models 返回的名称。Meta 的教程没有说明这条路径是否支持工具调用,正式使用前先测一次工具调用。无需申请的社区 MLX 版本更小:4-bit 462 GB,3-bit 359 GB。3-bit 版本单台 512 GB 也装得下,但低于 Meta 给出的最低配置,精度损失也更大。

在 NVIDIA 和 AMD 上,Meta 称 SGLang 带来 1.03 到 3.95 倍的内核级提速。AMD 发布了 MXFP4 和 FP8 版本,Intel 发布了 INT4 版本。单张 24 GB 或 48 GB 显卡跑不了这个模型。想用单卡装得下的模型,可以看 Hermes + llama.cpp 或 Mac 上运行 Hermes。

价格与费用示例

OpenRouter,每百万 token美元
输入$1.25
缓存读取(Together、Fireworks、Baseten)$0.15
输出$4.25

发布时,OpenRouter 背后各家服务商的输入、输出单价都相同。Together、Fireworks、Baseten 标了缓存读取价,Nebius 没有。跑大任务前,再看一眼 OpenRouter 模型页。

10 万未缓存输入 token + 1 万输出 token,token 费用约 $0.17:输入 $0.125,输出 $0.0425。如果输入全部命中缓存,约 $0.06。缓存命中没有保证。工具循环每一轮都会重发历史,所以一个长 Hermes 任务的花费可能远高于单次请求。

它在 OpenRouter 上的标价和闭源的 Muse Spark 1.3 一样。选 Spark Open 的理由是你也可以自己跑,而且下载到本地的权重会一直保持原样。只用 API 的闭源版本见 Hermes + Muse Spark。

许可证允许做什么

Muse Model License 允许运行、修改、微调、蒸馏和再分发模型,前提是遵守 Meta 的使用政策。基于它做产品,有三条要注意:

  • 署名。 使用该模型或其衍生模型的产品或服务,要在界面、文档、网站或设置菜单中标明 “Built with Muse Spark Open”。
  • 年营收超 2000 万美元的模型服务。 如果你通过 API 向第三方提供 AI 模型服务(无论免费还是收费),且集团在任意连续 12 个月的总营收超过 2000 万美元,必须先通知 Meta 并另签书面协议,才能提供这个模型。内部使用、研究,以及用它驱动自家产品的功能,都不受这一条约束。
  • 使用政策。 政策列出了禁止用途,并写明该模型不面向 18 岁以下用户。

个人或公司内部运行的 Hermes Agent 不受营收条款限制,但仍要遵守署名条件和使用政策。

常见问题

Hermes Agent 能用 Muse Spark Open 吗?

可以。用 OpenRouter 时模型 ID 填 meta/muse-spark-open;也可以用 vLLM、SGLang、llama.cpp 或 MLX 自己部署权重,再把 Hermes 当作自定义 OpenAI 兼容提供商连上去。Meta Model API 不提供这个模型,所以 Hermes 的 meta-ai 提供商调不到它。

一台 Mac 能跑 Muse Spark Open 吗?

Meta 给出的最低配置是两台 512 GB 的 M5 Ultra Mac Studio(或四台 256 GB),用 MLX 运行官方 533 GB 的 NVFP4 版本。359 GB 的社区 3-bit 版本单台 512 GB 装得下,但低于 Meta 给出的最低配置,精度损失也更大。消费级显卡装不下这个模型。

通过 OpenRouter 使用 Muse Spark Open 多少钱?

发布时每百万输入 token $1.25、输出 $4.25;Together、Fireworks、Baseten 的缓存读取为 $0.15。和 Muse Spark 1.3 标价相同。

Muse Spark Open 能商用吗?

可以,遵守 Muse Model License 即可。产品需要标明 “Built with Muse Spark Open”。对外提供 AI 模型 API 服务、且 12 个月总营收超过 2000 万美元的公司,需要和 Meta 另签协议;内部使用和自家产品内的功能不受这一条约束。

相关指南

托管你的 Hermes Agent

了解托管部署、模型切换和个人 API 密钥选项。

了解 Hermes 托管