网页采集先验字段的Skill

用Scrapy构建网页爬虫,提取网站数据并处理。

scrapy-web-scraping 是组织 Scrapy 网页采集的 Skill。它把页面请求、字段提取和数据处理分开,让商品列表之类的任务有可检查的链路。

抓到价格文字还不够,要核币种、缺失值和重复记录。原文用处理管道接住校验与清洗,再决定哪些记录能进入存储;页面结构变化时,也能定位是哪一环坏了。

先限定允许访问的站点,再配延迟、重试和错误记录。缓存响应适合复现解析问题,但缓存里的商品价格不能当作今天的价格。

适合已经明确访问范围的数据整理。本文未采集网页,动态页面工具与版本接口未实测;示例片段还需补全依赖和异常处理,不能直接宣称整套程序已可运行。

分类:AI 与 Agent

来源仓库:mindrally/skills

适合用来做什么

  • 如何使用Scrapy构建一个抓取新闻网站的网络爬虫?
  • 请指导我使用Scrapy提取网页中的表格数据。

安装 scrapy-web-scraping

npx skills add https://www.iskills.cc/skills/mindrally/skills/scrapy-web-scraping/SKILL.md

在本机终端执行安装命令。安装前请阅读原始说明,确认所需工具、账号和权限。

查看安装步骤 · 查看常见问题

查看 scrapy-web-scraping 的用途与原始说明

浏览全部 Skill 指南