教程
OpenClaw + Crawl4AI：通过 MCP 自建网页爬取能力
让 Crawl4AI 负责浏览器、渲染和内容提取，让 OpenClaw 决定何时调用工具。整个爬取服务可以部署在你控制的服务器里。
工作方式
Crawl4AI 作为独立服务运行，通过 MCP 暴露网页抓取工具；OpenClaw 保存服务定义、发现工具并按 Agent 权限调用。 这样浏览器依赖和并发压力留在爬虫服务，聊天渠道、模型、审批和 Agent 策略仍由 OpenClaw 管理。
第一步：启动固定版本的 Crawl4AI
按照 Crawl4AI 官方自建文档部署，并固定测试过的版本，不要在生产环境使用 :latest。默认服务端口是 11235，SSE MCP 地址如下：
http://crawl4ai:11235/mcp/sse第二步：写入 OpenClaw MCP 配置
{
"mcp": {
"servers": {
"crawl4ai": {
"url": "http://crawl4ai:11235/mcp/sse",
"transport": "sse"
}
}
}
}当前版本使用 mcp.servers。网上旧文章里的 tools.mcp 或 agents.defaults.mcp不是当前配置结构，严格校验时可能导致整个配置重载失败。可对照OpenClaw 官方配置参考。
第三步：先探测，再对话
openclaw mcp list
openclaw mcp status --verbose
openclaw mcp probe crawl4ai
openclaw mcp tools crawl4ai探测命令会建立真实 MCP 连接并列出能力，能把网络问题与模型、提示词问题分开。
第四步：从小任务开始
第一次只抓一个公开 URL，明确页数、字段和引用要求。不要直接要求“爬完整个网站”。 深度、并发、同域限制和超时应在 Crawl4AI 服务端设置，不能只依赖提示词。
生产安全清单
- 把 Crawl4AI 放在私网，或通过反向代理强制认证。
- 阻止访问云元数据地址和非必要内网网段，降低 SSRF 风险。
- 限制任务时长、内存、响应体、爬取深度和并发数。
- 遵守 robots、网站条款、版权和个人信息要求。
- 记录目标 URL 和工具结果，但不要把密钥或敏感网页全文写入日志。
Crawl4AI 和 Firecrawl 怎么选？
想要自建、MCP 原生和明确工具接口时选 Crawl4AI；已有 Firecrawl API 集成、希望更快接入时可选 Firecrawl。 也可以查看 OpenClaw + Firecrawl 教程。
常见问题
OpenClaw 能直接使用 Crawl4AI 吗？
可以。Crawl4AI 提供 MCP 服务，OpenClaw 把远程服务配置在 mcp.servers 下，再通过 SSE 发现工具。
为什么容器里不能写 localhost？
因为容器中的 localhost 指向 OpenClaw 容器自己。Crawl4AI 在另一个容器时，应使用 Compose 服务名或可达的私网地址。