适用场景
- 科技资讯每日抓取
- 批处理任务失败排查
- 自动采集流程复盘
PROMPT
【思考】 1. 当前目标是拿到十家科技媒体的今日头条标题与链接 2. 先判断哪几家有公开列表页，避免直接抓正文导致失败 3. 下一步先调用搜索工具探路，确认可访问的列表地址 4. 若返回为空，改走站点地图，再不行就跳过这一家 5. 每轮只推进一件事，拿到结果再决定继续还是停止 【行动】 1. 第一次调用搜索工具，参数写清关键词与时间为今天 2. 第二次调用网页抓取工具，只取列表页前二十条标题链接 3. 第三次调用正文抽取工具，仅对命中的科技词条取摘要 4. 每次只传一个工具，参数写全地址、条数与超时秒数 5. 抓取失败时记录状态码与地址，重试不超过两次 【观察】 1. 读取返回条数，达到二十条即判定本轮目标达成 2. 条数不足时比对缺失来源，决定补抓还是结束 3. 摘要出现乱码或字段缺失时标记为待清洗，不直接入库 4. 每轮结束写一句判断，明确继续下一轮或停止 5. 全部完成后输出抓取条数、失败来源与清洗比例三项统计