【进阶】有关采集器采集速度提升办法和采集速度解释

By | 2017年5月1日

 

创想软件拥有多年亚马逊数据采集经验和专业开发经验,对亚马逊数据采集方面有独到的理解,因此特开本文深入分析亚马逊数据采集速度。
针对采集速度本教程已完全详细的介绍,若您对速度要求很高请耐心阅读本教程,联系客服也是提供本教程的方案谢谢理解

采集速度专业解惑:

声明:采集器不会对下载速度做任何限制(限制对我们貌似没任何好处),并且对采集亚马逊做出特殊采集优化,拥有快速的采集特性这是我们一直努力优化的方向,请您相信我们!

采集速度就像使用迅雷等软件下载某个资源文件一样,受制于网络原因,速度时快时慢

 

经过我们测试,亚马逊有时候会出现访问不稳定,时快时慢,今天下载页面速度快,明天却下载速度非常慢,非常不稳定,很影响用户正常使用,建议您按照本文教程进行优化和调整。

 

影响采集速度的两种情况:

请查看软件左下角下载状态和底部采集状态。

第一种情况:如果您一般卡在下载数据的状态,则代表连接到亚马逊服务器速度过慢,即为下载速度过慢。

第二种情况:如果您一般卡在下载完数据后对数据处理的状态或数据显示非常慢,即为程序处理过慢。

那么我们现在对如上两种情况进行分析并给出我们认为比较好的解决办法。

 

解决下载速度过慢的问题:

一般下载一张页面数据时大于5秒则代表速度比较慢

下载过慢,即为从亚马逊下载速度过慢,此种导致采集速度慢的情况较多,一般90%的采集过慢问题均为下载速度过慢。

因为亚马逊除中国站服务器均在海外,但是从中国访问海外服务器尤其是美国、欧洲等站点速度非常慢,并且本身这些站点就不是主要面向中国的,因此没有对中国线路进行优化,采集速度时快时慢。这就好比玩外服游戏,需要使用游戏加速器一个道理,因此采集要想提高下载速度,也要使用代理工具进行加速或使用美国VPS采集美国站亚马逊、使用欧洲VPS采集欧洲站等。

 

提高下载速度参考:

排序越靠前代表效果越好

  1. 使用谷歌浏览器访问亚马逊速度却正常
    如果您的谷歌chrome浏览器可以正常速度访问亚马逊,请升级到最新版本软件后,在系统设置中直接开启【谷歌浏览器】采集模式,即可直接使用浏览器采集。具体操作请查看此处
  2. 开启了采集变体详情导致速度很慢
    如果您是【旗舰版】用户,可以在【采集设置】下【变体】中勾选 【采集变体详情启动多线程采集】,并设置线程数5-10之间,即可大幅提高采集速度。详细请点击这里
  3. 使用访问亚马逊速度快的HTTP代理服务器、VPN代理工具等,利用代理服务器来帮助您访问amazon从而提高采集速度。
    注意:VPN代理务必设置为全局代理,请不要使用高速模式等加速,否则会导致采集器挂不上代理,有关HTTP代理的使用和介绍点击这里了解
  4. 将采集器部署到国外的VPS主机上。
    此种方法等于直接用国外的电脑采集数据,速度上比较稳定。
  5. 购买多个采集器部署到多个电脑或VPS上进行采集
    将采集业务分开到多个VPS或电脑上,可提高采集速度
  6. 一台电脑开多个采集器同时进行采集,但此方法容易被采集屏蔽
    注意:多开请复制多份软件分别打开,并保证数据目录分别进行设置避免数据冲突
  7. 关闭一些不必要的(或者说您不需要的)采集项,例如关闭采集变体、采集变体详细信息、采集reviews评论项、offer卖家项、offer最低价等不必要的数据采集项目
    可在“采集功能开启/关闭”中快速开启或关闭相关采集。
  8. 若无必要,可关闭采集高清图、细节图等
    关闭采集图片可提高数据下载速度,可采集完利用图片批量下载工具多线程下载图片,快速又方便
  9. 频繁屏蔽导致验证码弹窗、自动暂停影响了采集速度
    尝试使用其他方法解除屏蔽,具体请看解除屏蔽的相关教程
  10. 纯粹您的网速慢问题,例如被宽带速率过低、路由器或其他上网设备过热、网络设备问题、被其他防火墙等软件限速等情况也会导致下载速度过慢
    此问题请联系您的网络管理员或联系电信运营商解决
  11. DNS解析过慢
    建议设置系统DNS服务器地址为8.8.8.8   DNS2为114.114.114.114

 

解决处理数据速度过慢的问题:

一般处理速度过慢,表现为数据下载完成,刷新到表格中过慢,加载过慢或处理过慢。此种问题一般是开启了容易拖慢采集处理速度的功能所致,当然也有可能是本身电脑配置较低造成。

对于处理过慢,我们将现版本20177791的会造成下载过慢的功能进行解析,便于您查找影响采集器处理数据速度的问题。

采集器处理速度一般和CPU速度内存速度有关,建议配置为:双核2GHZ或以上,4GB可用内存,推荐配置为双核2.5GHZ或以上,8GB可用内存.本软件对windows server系列系统兼容性不佳容易闪退

 

提高软件运行速度参考:

越靠前代表影响处理速度越明显

  1. 开启了很多不需要采集的字段(列)数据【速度的关键】
    解决方案:建议您手动关闭您不需要的字段,可大大提高软件采集处理速度以及运行速度.在[系统设置]->[个性化]->[设置采集字段]中可选择采集列
  2. 设置大量的过滤词(过万条),配置了复杂的过滤条件。
    解决方案:削减您的过滤词,过多也容易造成软件崩溃。您也可以采集完,统一使用条件删除器进行过滤
  3. 设置记录已采集过的ASIN到黑名单的功能,随着时间的推移,若未及时清空这些黑名单ASIN,导致黑名单ASIN过多而影响过滤处理速度。
    解决方案:若没有明显店铺会导致采集重复的情况,可关闭采集时过滤黑名单ASIN(采集设置中设置)
  4. 变体商品过多,刷新到列表过慢
    解决方案:可在系统设置中,打开“采集过程UI界面不刷新”功能,即可解决加载数据过多处理慢的问题
  5. 其他程序占用过多系统资源或电脑配置低、电脑中病毒影响系统性能
    解决方案:关闭占用系统资源的程序。清理系统垃圾,升级电脑配置
  6. 使用多线程进行商品详细信息采集
    作为最后备选方案,我们建议您将采集软件复制几份,并在系统设置里设置不同的数据目录,多开几个进行采集。若使用多线程采集,请在采集设置里设置线程数即可(多线程不支持开启变体采集、过滤器等会增加表项的功能,否则按单线程采集)。我们不建议使用多线程,而建议您多开软件采集,更加稳定!

 

以上方法为目前会影响采集速度的方面,可根据如上方法进行解决。若您了解后还是存在速度方面的疑问可以联系我们技术QQ709005505

 

 

发表评论