【进阶】有关采集器采集速度提升办法和采集速度解释

By | 2017年5月1日

 

创想软件拥有多年亚马逊数据采集经验和专业开发经验,对亚马逊数据采集方面有独到的理解,因此特开本文深入分析亚马逊数据采集速度。
针对采集速度本教程已完全详细的介绍,若您对速度要求很高请耐心阅读本教程,联系客服也是提供本教程的方案谢谢理解

采集速度专业解惑:

声明:采集器不会对下载速度做任何限制(限制对我们貌似没任何好处),并且对采集亚马逊做出特殊采集优化,拥有快速的采集特性这是我们一直努力优化的方向,请您相信我们!

采集速度就像使用迅雷等软件下载某个资源文件一样,受制于网络原因,速度时快时慢

创想亚马逊数据采集器和网页浏览器原理相同,都是下载网页数据,但是采集器与浏览器不同之处在于采集器会将网页上的关键数据抓取下来并格式化成表格方便用户进行数据处理,因此采集速度和浏览器访问网页的速度一样,都受到网速也就是连接亚马逊的速度的影响,除非设置了大量过滤词、过滤黑名单ASIN等会拖慢处理速度的功能外,采集速度一般都和连接到亚马逊速度有关,网络速度越快采集越快,因此我们推荐您通过HTTP代理、VPN代理等工具提高访问amazon的速度,从而提高采集下载的速度。

经过我们测试,亚马逊经常访问不稳定,时快时慢,今天下载页面速度快,明天却下载速度非常慢,非常不稳定,很影响用户正常使用,建议您按照本文教程进行优化和调整。

 

影响采集速度的两种情况:

第一种情况:如果您一般卡在下载数据的状态,则代表连接到亚马逊服务器速度过慢,即为下载速度过慢。

第二种情况:如果您一般卡在下载完数据后对数据处理的状态或数据显示非常慢,即为程序处理过慢。

那么我们现在对如上两种情况进行分析并给出我们认为比较好的解决办法。

 

首先我们介绍如何解决下载速度过慢的问题:

一般下载一张页面数据时大于5秒则代表速度比较慢

下载过慢,即为从亚马逊下载速度过慢,此种导致采集速度慢的情况较多,一般90%的采集过慢问题均为下载速度过慢。

因为亚马逊除中国站服务器均在海外,但是从中国访问海外服务器尤其是美国、欧洲等站点速度非常慢,并且本身这些站点就不是主要面向中国的,因此没有对中国线路进行优化,采集速度时快时慢。这就好比玩外服游戏,需要使用游戏加速器一个道理,因此采集要想提高下载速度,也要使用代理工具进行加速或使用美国VPS采集美国站亚马逊、使用欧洲VPS采集欧洲站等。

 

下面我们罗列提高下载速度的方法供您参考:

排序越靠前代表效果越好

1.使用访问亚马逊速度快的HTTP代理服务器、VPN代理工具等,利用代理服务器来帮助您访问amazon从而提高采集速度。

注意:VPN代理务必设置为全局代理,请不要使用高速模式等加速,否则会导致采集器挂不上代理,有关HTTP代理的使用和介绍点击这里了解

2.将采集器部署到国外的VPS主机上。

此种方法等于直接用国外的电脑采集数据,速度上比较稳定。

3.购买多个采集器部署到多个电脑或VPS上进行采集

将采集业务分开到多个VPS或电脑上,可提高采集速度

4.一台电脑开多个采集器同时进行采集,但此方法容易被采集屏蔽

注意:多开请复制多份软件分别打开,并保证数据目录分别进行设置避免数据冲突

5.关闭一些不必要的(或者说您不需要的)采集项,例如关闭采集变体、采集变体详细信息、采集reviews评论项、offer卖家项、offer最低价等不必要的数据采集项目

可在“采集功能开启/关闭”中快速开启或关闭相关采集。

6.若无必要,可关闭采集高清图、细节图等

关闭采集图片可提高数据下载速度,可采集完利用图片批量下载工具多线程下载图片,快速又方便

7.频繁屏蔽导致验证码弹窗、自动暂停影响了采集速度

尝试使用其他方法解除屏蔽,具体请看解除屏蔽的相关教程

8.纯粹您的网速慢问题,例如被宽带速率过低、路由器或其他上网设备过热、网络设备问题、被其他防火墙等软件限速等情况也会导致下载速度过慢

此问题请联系您的网络管理员或联系电信运营商解决

9.DNS解析过慢

建议设置系统DNS服务器地址为8.8.8.8   DNS2为114.114.114.114

 

接下去我们介绍如何解决处理数据速度过慢的问题:

一般处理速度过慢,表现为数据下载完成,刷新到表格中过慢,加载过慢或处理过慢。此种问题一般是开启了容易拖慢采集处理速度的功能所致,当然也有可能是本身电脑配置较低造成。

对于处理过慢,我们将现版本20177791的会造成下载过慢的功能进行解析,便于您查找影响采集器处理数据速度的问题。

采集器处理速度一般和CPU速度内存速度有关,建议配置为:单核1GHZ或以上,1GB可用内存,推荐配置为双核2.0GHZ或以上,2GB可用内存

 

下面我们罗列提高处理速度的方法供您参考:

越靠前代表影响处理速度越明显

1.设置大量的过滤词(过万条),配置了复杂的过滤条件。

解决方案:削减您的过滤词,或采集完,统一使用条件删除器进行过滤

2.设置记录已采集过的ASIN到黑名单的功能,随着时间的推移,若未及时清空这些黑名单ASIN,导致黑名单ASIN过多而影响过滤处理速度。

解决方案:若没有明显店铺会导致采集重复的情况,可关闭采集时过滤黑名单ASIN(采集设置中设置)

3.开启了一些处理复杂的字段或者数据,例如采集了变体图片、变体细节图、长短描述、RANK值、分类全称等

解决方案:若无必要可关闭掉这些采集项,您也可以关闭不需要采集的字段提高处理速度,在“系统设置”中找到“设置采集字段”即可关闭非必要的数据段。

4.变体商品过多,刷新到列表过慢

解决方案:可在系统设置中,打开“采集过程UI界面不刷新”功能,即可解决加载数据过多处理慢的问题

5.其他程序占用过多系统资源或电脑配置低、电脑中病毒影响系统性能

解决方案:关闭占用系统资源的程序。清理系统垃圾,升级电脑配置

 

以上方法为目前会影响采集速度的方面,可根据如上方法进行解决。若您了解后还是存在速度方面的疑问可以联系我们技术QQ709005505

 


 

采集器多线程和缓存功能利用进阶篇: 

 

最新版的企业版新增了采集详细信息多线程采集功能,关于多线程功能利用技巧如下:
注意:目前多线程还在测试之中,有些电脑使用尚不稳定,若您采集出现不稳定,奔溃等情况,请不要使用多线程。

如果您开启了采集变体、条件过滤器等过滤功能暂时无法使用多线程,即使设置了多线程,采集器仍然按照单线程进行采集哦

那既然多线程不支持采集变体和过滤器,那多线程是不是就没什么用了呢?
但我们可以利用多线程来快速将网页数据缓存到本地,然后再使用单线程直接从本地缓存中读取数据并分析,从而大大提高采集速度。

使用多线程提高采集详细信息速度的方法:

1.首先建议大家开启VPN加速器或者HTTP代理来提高访问亚马逊的速度,否则就算开启多线程,网速慢使用多线程采集的效果也微乎甚微。

2.企业版用户,可在“系统设置”中,设置启动的线程数,一般建议5个以内即可,视电脑而定,大家可以自己测试

3.采集器中关闭“采集变体”、采集设置中关闭“条件过滤器”该两项功能,因为多线程不支持这两个功能开启,否则按单线程进行采集哦

4.点击“手动采集详细信息”按钮,开始利用多线程下载数据【以上方法采集出来的不支持变体】。

利用采集缓存来采集变体:

以下步骤介绍利用多线程进行缓存数据再采集变体的方法,如果您不需要采集变体,可不用进行以下步骤

5.在任务列表上方,找到“开启采集缓存”功能,打开该功能后,每次访问亚马逊每个网页的数据(采集缓存)都将保存在您的本地电脑中。

6.等待所有数据都通过多线程采集完成或者也可以中途停止任务

7.点击菜单栏的“编辑数据”,点击“标记所有项目为未采集”按钮,将所有数据标记为未采集

8.这时候,就可以勾选“采集变体”、“条件过滤器”,点击“手动采集列表详细信息”,接下去,软件将利用已经下载到本地电脑的商品网页数据(采集缓存)进行分析采集变体和过滤,通过该方法就可以无需访问网络,大大提高采集速度


总结:使用多线程来下载缓存再进行分析采集的方法看起来复杂,其实原理很简单,因为目前多线程不支持开启采集变体和过滤器,因此利用多线程快速将所有要采集的网页数据下载到电脑,然后标记所有项目为未采集,再进行第二次利用单线程进行采集,这时可以开启采集变体或条件过滤器,将已下载到本地的网页在进行采集、分析变体或进行条件过滤、从而利用多线程下载数据,单线程来利用下载的数据快速进行分析进行采集。


多线程缓存提速方法仅限您访问亚马逊速度正常的情况下使用,建议使用代理工具加快访问亚马逊的速度。

建议采集完,记得在“系统设置”中清空采集缓存,以免占用过多电脑空间。 

发表评论