Scrapy 第一个爬虫
说明
Spider 是一个类，它定义了从中提取数据的初始 URL、如何跟踪分页链接以及如何提取和解析
items.py 中定义的字段。 Scrapy 提供了不同类型的爬虫，每一种都有特定的用途。
在 first_scrapy/spiders 目录下创建一个名为
"first_spider.py" 的文件，我们可以告诉 Scrapy 如何找到我们正在寻找的确切数据。为此，您必须定义一些属性-
name-它定义了爬虫的唯一名称。
allowed_domains-它包含爬虫抓取的基本 URL。
start-urls-爬虫开始爬行的 URL 列表。
parse()-它是一种提取和解析抓取数据的方法。
以下代码演示了爬虫代码的样子-
import scrapy
class firstSpider(scrapy.Spider):
name = "first"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
]
def parse(self, response):
filename = response.url.split("/")[-2] + '.html'
with open(filename, 'wb') as f:
f.write(response.body)
