DataScraper数据抓取快速入门

1.首先学习采集器的基本使用方法

可参考以下几篇文章：

案例：如何规划网站数据采集：

卓越网商品数据分级抓取：

2.缩小抓取对象

由于我们不是每种产品都需要抓取，所以对需要抓取的每个小类的链接，我们需要自己来定义。为此，我们在写了一个索引页yesky.html，其中列出了所有需要抓取的小类链接；

3.定义网站的抓取规则

我们需要抓取天极网的产品名称、图片及相关参数：

我们定义了以下规则：

索引页：yesky_index

产品列表抓取规则：yesky_list

产品详情页抓取规则：yesky_detail

4.分层抓取

为了保证抓取具体产品时，都是有效的线索，我们将抓取工作分为两步：第一步，根据索引页抓取列表线索；第二步，根据列表线索抓取产品详情；

分层抓取时，我们需要在crontab.xml文件中定义多级抓取规则。（该文件一般位于磁盘：C:Documents and Settings（yourLoginName）.datascraper);

第一步抓取规则如下：

true 5 10800 false 2 10 yesky_index yesky_index 3600 3 true 80 -1 -1 false 0 yesky_list true 80 -1 -1 false 0

第二步抓取规则如下：

true 5 10800 false 2 10 yesky_list yesky_list 3600 3 true 80 -1 -1 false 0 yesky_detail true 80 -1 -1 false 0

Over.

大CC