标签 - scrapy

scrapy    2018-09-02 13:35:25    259    0    0

1、命令行启动scrapy

  1. # scrapy shell "http://www.baidu.com/"

  然后使用 respone 变量, response 变量里面是请求URL后的返回信息。

  1. divs = response.xpath('//div') 全局搜索
  2. p = divs.xpath('.//p') divs 的基础上全局搜素
  3. p2 = divs.xpath('p') 提取所有直接子p标签