MiniMax_Agent写爬虫脚本操作步骤

MiniMax Agent可自动生成爬虫脚本：需开通“代码生成”权限，提供目标网页cURL命令及结构化提取需求（含页面类型、字段定位方式、输出格式），再校验选择器有效性与请求头完整性后运行。

用MiniMax Agent自动生成爬虫脚本，省去手动写Python代码、处理反爬、解析HTML结构的繁琐过程，直接输入网页目标和数据需求，就能拿到可运行的脚本文件。

确认MiniMax Agent访问权限与环境

登录MiniMax官网控制台，进入Agent Playground页面，确保账号已开通“代码生成”能力权限，未开通则无法输出完整可执行脚本。

打开浏览器开发者工具（F12）→ 切换到Network选项卡 → 刷新目标网页 → 找到主HTML请求（通常为Name列中路径结尾无扩展名或为.html的条目）→ 右键复制cURL（bash）命令。

将该cURL命令粘贴进MiniMax Agent对话框第一句，后面紧跟你的提取需求，例如：“提取所有商品标题、价格、评分，输出为CSV”。【不提供cURL或网页URL，Agent大概率返回通用模板而非真实可运行脚本】

构造精准指令让Agent输出可用爬虫

方法一：结构化三段式指令

① 目标页说明：明确网页类型（电商列表页/新闻详情页/表格数据页）和分页特征（是否有“下一页”按钮、URL含page=参数、滚动加载）；

② 字段定义：每项字段注明HTML定位方式，例如“价格：class=‘price-now’下的span标签文本”或“作者：div.meta span.author-name”；

③ 输出要求：指定保存格式（CSV/JSON）、编码（UTF-8）、是否含表头、是否自动创建目录，例如“保存为./data/products.csv，中文字段名，首行写列名”。

方法二：示例引导法

先给Agent一个极简但完整的正确示例：“https://example.com/list 页面，提取h3.title文本→存入title字段，div.price数字→存入price字段，输出CSV”，再紧接你的真实网址和字段需求。这能显著提升Selector准确性。

校验与修正Agent生成的脚本

运行前先检查脚本头部是否包含requests、BeautifulSoup或lxml导入——若缺失，运行必报错；若Agent用了selenium但未提示安装webdriver，需手动补全。

重点核对CSS选择器或XPath是否真能匹配到目标元素：把Agent写的select('div.item h4')复制进浏览器Console，执行document.querySelectorAll('div.item h4').length，返回0就说明Selector失效，必须重写。

如果脚本含time.sleep()或headers伪装，保留；若完全没设headers，【直接运行大概率被403拦截，务必手动加入'User-Agent'字段】。

保存脚本为crawl.py → 终端执行python crawl.py → 观察终端输出是否打印出预期字段值，而非空列表或AttributeError。