DataScraper数据抓取步骤-全

一.定义数据采集规则：

运行MetaStudio后，如图1执行下面的步骤。

创建整理箱：

首先建立一个顶部整理箱：shop；在弹出的框中输入信息属性名称、点击key复选框（这个顶部整理箱不需要进行Freefomat映射）

在这个整理箱上右击，点击-》添加包容；新建整理箱；

在新建的整理箱上通过右击-》其后添加其余的整理箱；

注意：对于需要多级抓取的，需要增加一个page整理箱，勾选key、clue、url；

内容映射：

定位到第一条，定位至需要抓取的文本行，选择内容映射；

对于page同样需要内容映射，不过选择的是href：

FreeFomat映射：

将对第一块设置的映射模式应用到整个页面，针对各个快使用到的最相近的class，进行FreeFormat映射；

规则定义完成；

更多细节参考：

二、翻页抓取

对于列表页，翻页抓取：

4.设置记号映射 “下一页”字样就是记号

对于Clue1（page的clue）

将目标主题设置为popshopdet；这样就和下一级跳转的建立了联系；

翻页抓取完毕，更多参考：

三。多级抓取

参考：

大CC