Automation12.5k

Puppeteer 浏览器自动化与网页抓取核心

通过 MCP 全面接管 Web 浏览器。完美绕过反爬防护,抓取复杂的单页应用 (SPA),执行动态 JavaScript,支持截长图,并使用自然语言全自动执行复杂的网页交互流。

痛点与核心价值

传统的网页爬虫脚本(如 Python 写的 BeautifulSoup 或基础的 Selenium)在遇到 DOM 结构频繁更改、反爬虫机制或重度 JavaScript 渲染的现代前端网站时往往不堪一击。Puppeteer Browser Automation MCP 通过为 OpenClaw 赋予一个真实的 Chrome 浏览器实体,直接打破了这个局限,让 AI 能够像真人一样“看”和“点击”网页。

  • 搞定异步渲染网站 (SPA):无缝读取 Next.js、React 或是通过 ajax 动态加载列表的现代网站,再也不怕源代码里全是空白。
  • 基于视觉的拟人化导航:AI 会结合 HTML 树节点与网页实时截图的屏幕坐标系,精准突破复杂的登录表单、二次确认弹窗防线。
  • 真正释放你的生产力:用自然语言命令即可代替你每天枯燥的系统填表、电商比价追踪、竞品数据爬取等高频重复动作。

工作原理与底层架构

顾名思义,这款神级插件作为连接语言模型(LLM)与谷歌官方 Puppeteer 测试库的桥梁。当你下达指令时,大模型会推演出该调用 page.goto()page.evaluate() 或是 page.screenshot(),而插件执行后会将网页最新状态(甚至是 DOM 元素的缩略结构)作为新的上下文喂回给大模型,形成闭环。

必入手的 5 大神级 Prompt 指令

  1. “打开推特,搜索关键词‘苹果发布会’,截图前 3 条最热推文,并帮我总结吃瓜群众的情绪走向。”
  2. “进入 AWS 控制台,帮我登录进去,然后找到账单中心,下载上个月的计费 PDF 发给我。”
  3. “去携程网搜索这周末杭州西湖边上评价大于 4.5 分、1500块钱以内的精品酒店,整理成带有价格、距离的Markdown对比表格。”
  4. “打开这个超长的问卷调查链接,根据我的简历文档信息全部自动填满并提交。”
  5. “在后台每隔 10 分钟刷新一下这个演唱门票抢票页面,如果‘售罄’按钮亮起来变成‘购买’,立刻截个图并用系统终端发出蜂鸣声警报!”

config.json 接入配置范例

要在环境内挂载此神级插件,请在 config.jsonmcpServers 字段内增加以下配置:

"mcpServers": {
  "puppeteer": {
    "command": "npx",
    "args": [
      "-y",
      "@modelcontextprotocol/server-puppeteer",
      "--headless=false",
      "--window-size=1920,1080"
    ]
  }
}

骨灰局玩家建议:将 --headless=false 设为显示模式。看着 AI 像幽灵一样在你的电脑屏幕上飞速滚动网页、点击按钮,不仅极其震撼,而且非常适合排错调试!

常见排错 Troubleshooting

  • 元素定位失败 / API 不认识当前页面。 遇到卡死,请提示 AI:“截取一张当前页面的全屏,基于截图重新分析 DOM 结构。”
  • Chromium 下载失败或超时。 在国内网络环境下,Puppeteer 的依赖可能下不下来。建议使用环境变量 `PUPPETEER_EXECUTABLE_PATH` 指向你机器上自带的 Edge 或 Chrome 浏览器程序集。

终极安全与沙盒策略建议

高危预警! 具有浏览器直接操纵权限的 MCP 等同于拥有你当前会话(Cookies)与本地局域网的畅行无阻权限。绝对不要在无人工监督(Human-in-the-loop)的情况下,让 AI 自动化代理访问绑定了信用卡的敏感系统。建议始终使用 `--headless=false` 的明文可视模式运行此类任务,以便随时终止。

$ cd ../* END_OF_FILE */