模型指南
Muse Spark Open:在 Hermes Agent 中使用 Meta 开源权重模型
Meta 的 816B 开源权重模型支持 100 万 token 上下文,两台 Mac Studio 就能本地运行。现在可以通过 OpenRouter 接入 Hermes,也可以让 Hermes 连接你自己的推理服务器。
发布于 2026 年 10 月 15 日 · 权重、价格与许可条款于发布日核实 · English guide
Meta 发布了什么?
Meta 于 10 月 15 日发布 Muse Spark Open,这是 Muse Spark 系列第一个可以下载权重的模型。之前的 Muse Spark 1.1 到 1.3 只能通过 API 使用。官方公告把它定位在长程 Agent 任务、复杂软件工程和多步推理上,正好是 Hermes Agent 日常在做的事。
| Muse Spark Open | |
|---|---|
| 架构 | MoE:总参数 816B,每个 token 激活 42B |
| 上下文 | 100 万 token(OpenRouter 标注 1,048,576) |
| 输入 | 文本、图像、视频、音频、文件 → 文本输出 |
| 权重 | Hugging Face(需申请)、Amazon SageMaker AI、Google Cloud Model Garden、Microsoft Foundry |
| 托管 API | OpenRouter、Together AI、Fireworks、Baseten、Nebius、Groq、Modal |
| 推理框架 | SGLang、vLLM、TensorRT-LLM、Transformers、Apple MLX、llama.cpp、Unsloth |
| 许可 | Muse Model License(见下文) |
每个 token 只激活 42B 参数,所以生成速度比总参数量看上去快得多,这也是 Apple 芯片机器跑得动它的原因。不过整个模型仍然要全部装进内存。
Muse Spark Open 不在 Meta 自家的 Model API 上。 Meta 的模型文档写明,这个模型需要下载权重自行部署,或通过第三方推理服务调用。所以 Hermes 里连接 api.meta.ai 的 meta-ai 提供商调不到它,要改用 OpenRouter 或自己的服务器。
先选接入方式
| OpenRouter(托管) | 自己的硬件 | |
|---|---|---|
| 上手时间 | 几分钟 | 几小时,外加大体积下载 |
| 费用 | 按 token 计费:每百万输入 $1.25 / 输出 $4.25 | 硬件和电费,没有按 token 账单 |
| 数据 | 发送给推理服务商 | 留在你自己的机器上 |
| Hermes 配置 | provider: openrouter | provider: custom + base_url |
对大多数 Hermes 用户来说,先用 OpenRouter 最省事。数据不能出内网,或者你已经有硬件、机器人全天在跑,这时自建才划算。
在托管 Hermes 实例上切换
- 打开控制台,找到你的 Hermes 实例。
- 点击当前文本模型,选择 OpenRouter 提供商,搜索 Muse Spark Open。
- 精选列表里没有时,在完整 OpenRouter 目录中搜索
meta/muse-spark-open。也可以手动输入:选 自定义平台…,平台填meta,模型 ID 填muse-spark-open。这样会通过 OpenRouter 调用meta/muse-spark-open。这里的meta只是目录命名空间,不是直连 Meta。 - 确认切换,等实例恢复就绪后开启新对话,并检查实例卡片显示的模型。
Muse Spark Open 是付费模型,不在免费试用范围内。如果你保存并启用了自己的 OpenRouter Key,OpenRouter 请求会用这个 Key;否则使用符合条件的托管额度。想直接由自己的 OpenRouter 账户付费,可以在 API 密钥页面添加 Key。托管实例无法加载自建权重,自建方案适用于运行在你自己机器上的 Hermes。
自建 Hermes:通过 OpenRouter
运行 hermes model,选择 OpenRouter,按提示填入 OpenRouter Key,再选择或输入 meta/muse-spark-open。对应的 ~/.hermes/config.yaml 配置是:
model:
provider: openrouter
default: meta/muse-spark-open
OPENROUTER_API_KEY 放在 Hermes 的凭据设置或 ~/.hermes/.env 里,不要写进这段配置。把这些字段合并进现有配置,不要覆盖整个文件。参考:Hermes 配置文档。
修改后开一个新的 CLI 会话。如果消息网关已经在运行,执行 hermes gateway restart,然后开启新对话。
自建 Hermes:连接自己的推理服务器
vLLM、SGLang、llama.cpp 和 MLX 都提供 OpenAI 兼容的 /v1 接口。Meta 的开发者文章给出了在四张 GPU 上运行 NVFP4 版本的 vLLM 启动命令。对 Hermes 最关键的是两个 muse 解析器;--served-model-name 是我们加的:
vllm serve meta-models/Muse-Spark-Open-816B-A42B-NVFP4 \
--tensor-parallel-size 4 \
--enable-expert-parallel \
--max-model-len 1048576 \
--reasoning-parser muse \
--tool-call-parser muse \
--enable-auto-tool-choice \
--served-model-name muse-spark-open
发布时,PyPI 上的 vLLM 还跑不了这个模型,NVIDIA 显卡要在 vllm/vllm-openai:muse-spark-open Docker 镜像里运行上面的命令。AMD 显卡用 vllm/vllm-openai-rocm:muse-spark-open 镜像,配合另一个版本的权重(AMD 的 Quark MXFP4 或 BF16)和各自的参数,见 vLLM 的部署说明。vLLM 团队表示,支持代码合并后会提供 nightly 版本。Meta 的原版命令还开启了 DSpark 投机解码。SGLang 用同样的 --reasoning-parser muse --tool-call-parser muse。然后 Hermes 以自定义提供商连接(vllm、llamacpp 都是 custom 的别名):
model:
provider: custom
base_url: http://192.168.1.50:8000/v1
default: muse-spark-open
context_length: 262144
default必须和服务器/v1/models返回的名称一致。 上面的--served-model-name就是用来设定它的;不加时名称是完整的 Hugging Face 仓库名。context_length填服务器实际允许的上限。 Hermes 一般能自动识别。但自建时为了省内存,常常把上下文压到 100 万以下,Hermes 需要知道真实上限才能及时压缩历史。上面的 262,144 只是示例,不是推荐值。- 保留
muse工具调用解析器。 Hermes Agent 靠调用工具干活,而 Muse Spark Open 的工具调用有自己的格式。没有--tool-call-parser muse和--enable-auto-tool-choice,工具调用会变成回复里的纯文本,Agent 就卡住了。服务器端的细节见 Hermes + vLLM 指南。 - 思考强度只接受
low、medium、high、xhigh。 模型卡写明默认是xhigh,Agent 任务建议用high或xhigh,其他取值会直接报错。Hermes 还有none、minimal、max等档位,给这个模型设置思考强度时只用这四个。模型卡推荐 temperature 1.0、top_p 1.0。 - 下载权重。 模型卡任何人都能看。下载官方权重需要填写法定全名、出生日期和机构名称,Meta 会人工审核每个申请。社区的 MLX 和 GGUF 转换版本无需申请。
需要什么硬件
| Hugging Face 版本 | 下载体积 | 常见运行方式 |
|---|---|---|
meta-models/Muse-Spark-Open-816B-A42B(BF16,需申请) | 1,644 GB | 多 GPU 服务器上的 vLLM、SGLang、TensorRT-LLM |
meta-models/Muse-Spark-Open-816B-A42B-NVFP4(需申请) | 533 GB | NVIDIA Blackwell GPU;Meta 的 Mac 教程也用这个版本 |
mlx-community/Muse-Spark-Open-816B-A42B-4bit | 462 GB | Apple MLX,社区转换版本 |
mlx-community/Muse-Spark-Open-816B-A42B-3bit | 359 GB | Apple MLX,体积更小,精度损失更大 |
这些只是文件体积,不是总内存占用。长对话的 KV 缓存要另外算,你允许的上下文越长,缓存就越大。
Meta 给出的最低配置:
| 推理框架 | Meta 列出的硬件 |
|---|---|
| vLLM 或 SGLang | 4 张 NVIDIA Blackwell Ultra,或 8 张 H200 |
| TensorRT-LLM | 一台 4 卡 Blackwell 节点 |
| Apple MLX | 两台 512 GB 的 M5 Ultra Mac Studio,或四台 256 GB 的 |
| llama.cpp | GGUF 量化最低到 2-bit,可用 CPU、GPU 或混合运行 |
在 Mac 上,几台机器通过 Thunderbolt 5 直连并启用 RDMA,模型每一层都拆分到各台机器上。每台 M5 Ultra 最多 512 GB 统一内存、1.2 TB/s 带宽。Meta 的 Mac 部署教程加载的是官方 533 GB 的 NVFP4 版本,在 8080 端口提供 OpenAI 兼容接口:
mlx.launch --hostfile hostfile.json --backend jaccl --env MLX_METAL_FAST_SYNCH=1 -- \
mlx_lm.server --model meta-models/Muse-Spark-Open-816B-A42B-NVFP4 --port 8080
mlx_lm.server 默认只监听 127.0.0.1。Hermes 和它在同一台 Mac 上时,base_url 填 http://127.0.0.1:8080/v1。要从别的机器访问,加上 --host 并填 Mac 的局域网地址,同时别把这个端口暴露到公网,因为这个服务没有登录验证。default 填 /v1/models 返回的名称。Meta 的教程没有说明这条路径是否支持工具调用,正式使用前先测一次工具调用。无需申请的社区 MLX 版本更小:4-bit 462 GB,3-bit 359 GB。3-bit 版本单台 512 GB 也装得下,但低于 Meta 给出的最低配置,精度损失也更大。
在 NVIDIA 和 AMD 上,Meta 称 SGLang 带来 1.03 到 3.95 倍的内核级提速。AMD 发布了 MXFP4 和 FP8 版本,Intel 发布了 INT4 版本。单张 24 GB 或 48 GB 显卡跑不了这个模型。想用单卡装得下的模型,可以看 Hermes + llama.cpp 或 Mac 上运行 Hermes。
价格与费用示例
| OpenRouter,每百万 token | 美元 |
|---|---|
| 输入 | $1.25 |
| 缓存读取(Together、Fireworks、Baseten) | $0.15 |
| 输出 | $4.25 |
发布时,OpenRouter 背后各家服务商的输入、输出单价都相同。Together、Fireworks、Baseten 标了缓存读取价,Nebius 没有。跑大任务前,再看一眼 OpenRouter 模型页。
10 万未缓存输入 token + 1 万输出 token,token 费用约 $0.17:输入 $0.125,输出 $0.0425。如果输入全部命中缓存,约 $0.06。缓存命中没有保证。工具循环每一轮都会重发历史,所以一个长 Hermes 任务的花费可能远高于单次请求。
它在 OpenRouter 上的标价和闭源的 Muse Spark 1.3 一样。选 Spark Open 的理由是你也可以自己跑,而且下载到本地的权重会一直保持原样。只用 API 的闭源版本见 Hermes + Muse Spark。
许可证允许做什么
Muse Model License 允许运行、修改、微调、蒸馏和再分发模型,前提是遵守 Meta 的使用政策。基于它做产品,有三条要注意:
- 署名。 使用该模型或其衍生模型的产品或服务,要在界面、文档、网站或设置菜单中标明 “Built with Muse Spark Open”。
- 年营收超 2000 万美元的模型服务。 如果你通过 API 向第三方提供 AI 模型服务(无论免费还是收费),且集团在任意连续 12 个月的总营收超过 2000 万美元,必须先通知 Meta 并另签书面协议,才能提供这个模型。内部使用、研究,以及用它驱动自家产品的功能,都不受这一条约束。
- 使用政策。 政策列出了禁止用途,并写明该模型不面向 18 岁以下用户。
个人或公司内部运行的 Hermes Agent 不受营收条款限制,但仍要遵守署名条件和使用政策。
常见问题
Hermes Agent 能用 Muse Spark Open 吗?
可以。用 OpenRouter 时模型 ID 填 meta/muse-spark-open;也可以用 vLLM、SGLang、llama.cpp 或 MLX 自己部署权重,再把 Hermes 当作自定义 OpenAI 兼容提供商连上去。Meta Model API 不提供这个模型,所以 Hermes 的 meta-ai 提供商调不到它。
一台 Mac 能跑 Muse Spark Open 吗?
Meta 给出的最低配置是两台 512 GB 的 M5 Ultra Mac Studio(或四台 256 GB),用 MLX 运行官方 533 GB 的 NVFP4 版本。359 GB 的社区 3-bit 版本单台 512 GB 装得下,但低于 Meta 给出的最低配置,精度损失也更大。消费级显卡装不下这个模型。
通过 OpenRouter 使用 Muse Spark Open 多少钱?
发布时每百万输入 token $1.25、输出 $4.25;Together、Fireworks、Baseten 的缓存读取为 $0.15。和 Muse Spark 1.3 标价相同。
Muse Spark Open 能商用吗?
可以,遵守 Muse Model License 即可。产品需要标明 “Built with Muse Spark Open”。对外提供 AI 模型 API 服务、且 12 个月总营收超过 2000 万美元的公司,需要和 Meta 另签协议;内部使用和自家产品内的功能不受这一条约束。