Welcome to scrapy-cookbook

Contents:

• Scrapy教程01- 入门篇
  • 安装scrapy
  • 简单示例
  • Scrapy特性一览
• Scrapy教程02- 完整示例
  • 创建Scrapy工程
  • 定义我们的Item
  • 第一个Spider
  • 运行爬虫
  • 处理链接
  • 导出抓取数据
  • 保存数据到数据库
  • 下一步
• Scrapy教程03- Spider详解
  • CrawlSpider
  • XMLFeedSpider
  • CSVFeedSpider
  • SitemapSpider
• Scrapy教程04- Selector详解
  • 关于选择器
  • 使用选择器
  • 嵌套选择器
  • 使用正则表达式
  • XPath相对路径
  • XPath建议
• Scrapy教程05- Item详解
  • 定义Item
  • Item Fields
  • Item使用示例
  • Item Loader
  • 输入/输出处理器
  • 自定义Item Loader
  • 在Field定义中声明输入/输出处理器
  • Item Loader上下文
  • 内置的处理器
• Scrapy教程06- Item Pipeline
  • 编写自己的Pipeline
  • Item Pipeline示例
  • 激活一个Item Pipeline组件
  • Feed exports
  • 请求和响应
• Scrapy教程07- 内置服务
  • 发送email
  • 同一个进程运行多个Spider
  • 分布式爬虫
  • 防止被封的策略
• Scrapy教程08- 文件与图片
  • 使用Files Pipeline
  • 使用Images Pipeline
  • 使用例子
  • 自定义媒体管道
• Scrapy教程09- 部署
  • 部署到Scrapyd
  • 部署到Scrapy Cloud
• Scrapy教程10- 动态配置爬虫
  • 脚本运行Scrapy
  • 同一进程运行多个spider
  • 定义规则表
  • 定义文章Item
  • 定义ArticleSpider
  • 编写pipeline存储到数据库中
  • 修改run.py启动脚本
• Scrapy教程11- 模拟登录
  • 重写start_requests方法
  • 使用FormRequest
  • 重写_requests_to_follow
  • 页面处理方法
  • 完整源码
• Scrapy教程12- 抓取动态网站
  • scrapy-splash简介
  • 安装docker
  • 安装Splash
  • 安装scrapy-splash
  • 配置scrapy-splash
  • 使用scrapy-splash
  • 使用实例
• 联系我