web-scraping 是一份指导 AI 用 Python 提取网页数据的 Skill。要整理网页里的列表、文章或表格时,它先看内容怎样加载,再选提取工具。
网页原始内容就有数据,可以用请求工具配合 HTML 解析;必须运行页面脚本才出现的数据,考虑浏览器自动化。大量页面则另选爬取框架,不把每种工具都塞进同一个任务。
拿到内容后,还要处理分页、编码、重复记录和字段校验。网络超时或被阻止要有错误处理,访问间隔、缓存和网站规则也在检查范围内。原文是一份方法清单,没有提供任何网站现成解析器;你仍要给出目标、需要的字段和可访问条件,再验证抓到的数据是否完整。