采集慢解决
我想快点解决问题
😆如果看不懂或没时间看,没关系!您可以点击这里,使用诊断器提示排除即可。您也手动排查:排查网络原因导致采集慢,排查软件处理速度慢。
😆采集速度慢是采集经常遇到的问题,因此我们整理了非常详细的说明。还是建议您花几分钟了解本教程,解决问题更顺手~
为什么有时候采集会变慢?
采集软件原理和浏览器差不多,采集过程为: 访问要采集的网址 》 下载网页 》 引擎解析 》 呈现数据 》 导出数据 。
网络原因导致速度不稳定:采集过程中最容易影响速度的环节是 “下载网页数据”,因为亚马逊除中国站服务器均在海外,从中国访问海外亚马逊网站速度很不稳定,时快时慢。因为距离太远、并且这些站点本就不是主要面向中国地区访问的,没有对中国线路进行优化,且众所周知的原因,中国的家庭宽带国际访问本来就很慢(有时候快是因为此时段访问外网人数较少)。这个问题和玩外服游戏一个道理,需要开加速器中转来解决。因此采集要想提高下载速度,只能使用代理工具(VPN或HTTP代理)进行加速、将软件装在外网环境下(比如海外云服务器)会稳定很多,具体解决方案请查看下文,调试采集速度。
电脑配置原因导致速度慢:若您电脑配置低、开多线程会占用大量CPU性能时,就会造成解析过慢,解析慢一般是电脑配置问题,您可能需要升级电脑配置来解决。但本软件配置要求不高,大部分电脑都能正常采集。若您使用多线程采集或多开采集,建议您根据电脑实际情况来采集,避免占用过多性能,导致电脑卡死。
您可以通过下文【调试采集速度】优化采集速度。
我如何知道采集变慢的原因?
如下图,您可以查看软件底部的状态,左下角会显示网络请求状态,右边会显示当前正在采集什么项目。可以通过这里了解到软件正在采集的数据,采集卡在哪一步骤,便于您调试解决速度问题。

根据网络请求状态分析:
如果您一般卡在正在下载、或正在向亚马逊请求数据的状态,则代表连接到亚马逊服务器速度过慢,即为下载速度过慢。
如果您一般卡在下载完成,等待数据显示时,即为程序处理过慢。
根据采集状态分析:
显示当前采集状态,通过此信息可以了解到哪些项目采集时耗时比较长,知道了原因后,可以根据您的实际情况来解决。
比如,采集状态提示正在下载 某个ASIN的变体详细信息,每次都需要5-10秒才采集完变体详情,那么如果您正好不需要变体价格等信息,则关掉采集变体详细信息就会提高采集速度。
具体请按照下面教程排查解决~
诊断器自动排查原因
考虑到很多客户经常遇到速度问题自行难以排查,20240001及以上版本新增了 采集问题诊断工具,可以一键检查采集速度、采集问题、给出采集速度优化建议等,一键排查问题简单省事。
如下图可进入采集诊断器:

点击【开始诊断】即可,绿色图标为健康,如果是黄色叹号则为警告,蓝色叹号为提示(建议项),诊断完成后,点击项目就可以查看建议说明信息,您只需根据提示信息来检查问题即可~

排查解决
1.解决网络过慢
我们采集时所说的网速慢指的是您访问亚马逊的速度,不是您100M宽带还是1000M的问题,因为亚马逊服务器在国外,访问速度并不稳定,访问亚马逊的速度受制于很多情况,不是您宽带够大就访问够快!
如果您采集亚马逊日本很慢
如果您是采集日本亚马逊:由于日本亚马逊站的特殊性,政策原因大陆地区无法访问,所以采集日本亚马逊站必须要梯子代理(VPN),因此采集速度受限于您的代理(VPN)的连接速度,本软件采集时,会先访问您的代理,您的代理再访问日本亚马逊站,然后代理再把访问到的网页数据返回给采集软件,这中间代理如果速度慢了就会影响到采集速度,因此如果速度慢,请检查您的代理连接速度是否够快。了解更多
排查
排序越靠前代表效果越好,以下说明很全了,请您仔细查阅检查。
-
- 【优化设置】使用多线程采集、异步采集,可大幅提高采集速度
如果您是旗舰版授权,可以在【系统设置】中【采集速度】中打开“异步采集”,设置采集详情线程数2-10,可大幅提高采集速度。具体多线程使用效果和介绍请点击这里
- 【优化设置】采集时下载图片导致影响采集速度
由于下载图片会占用较多网络资源和采集速度,有两种方法下载快速图片:
采集时下载图片:建议使用图片下载多线程。在【系统设置】下【采集速度】中设置【采集时下载图片线程数】,建议2-10个线程之间。可大幅提高采集时图片下载速度,还可以提高采集速度。具体点击这里了解
采集完再下载图片:我们也建议您采集完再统一使用图片下载器来下载图片,可大大提高图片下载速度,采集完数据后,在【应用大全】中打开【图片批量下载工具】后,点击【开始下载】即可下载图片。具体点击这里了解
- 【优化设置】采集详细信息时卡住了
如果您采集详细信息时,状态栏显示“正在向亚马逊请求数据...”状态时,代表程序正在连接Amazon获取数据,有时候网络中断、网络异常、访问Amazon不稳定时会卡住,遇到此情况,您可以点击【停止】按钮,先停止任务,再点击【手动采集列表详细信息】按钮尝试继续采集,可解决一直卡住无法采集的问题。建议在【系统设置】里设置超时时间为25-60,避免长时间停住
- 【优化设置】关掉一些非必要的采集项目,降低网络IO
大部分用户初次使用软件时,无论需不需要,把很多采集项目都勾上采集,这是非常错误的。
您应该根据您的需要来开启采集功能。除上一条介绍的采集变体详情外,采集reviews评论项、offer跟卖卖家项、offer跟卖最低价、问答项、关联商品、卖家信息、采集时下载图片等,这些项目都需要访问网络,就会产生网络IO开销,因此尽可能的关闭掉这些需要访问网络的采集项,可以提高采集速度。
您可以在软件主界面点击【系统设置】【个性化】【管理采集字段】里关掉不需要采集的字段列。您不需要的字段列尽量不要开启,否则极易导致采集速度过慢。过多的字段还容易导致采集软件内存不足,崩溃等情况!
- 【使用代理】使用VPN或HTTP代理代理采集提高速度
利用代理,可解决采集下载速度慢的根本问题。本软件支持HTTP代理(大部分VPN其实也是HTTP代理,VPN软件里可以找到HTTP代理的连接IP信息)和VPN全局代理。但使用代理时,务必保证您的代理访问Amazon速度够快,否则依然无法起到加速的目的,甚至有些代理不稳定,总是掉线,导致采集软件一直卡顿采集不稳定,这一点请注意一下!
使用VPN代理软件:请开启全局代理模式,如果没有全局代理模式,请在软件的【系统设置】打开【自动连接系统代理】功能再采集,如果还连不上请将VPN的代理IP手动复制到软件里。
使用HTTP代理:将您的代理的IP和端口号等信息填写到软件【HTTP代理池】中并开启总开关,即可采集时使用您配置的代理IP来采集。具体HTTP代理设置点击这里
- 【置于海外】采集日本站,导致一直采集卡住不动
日本站比较特殊,必须要代理,代理的网络速度直接影响采集速度,具体请点击这里了解。
- 【优化设置】开启采集缓存 已采集过的网页不再重复采集
我们提供了采集缓存功能,比如可以设置过期时间为3小时,在3小时内采集到同一个网页(根据网址来判断是否相同)时,只有第一次会访问亚马逊,其余访问都从电脑读取,避免了重复商品多次采集的问题,使用采集缓存适用于采集数据中有重复项、或者需要相同商品短时间多次采集的情况。设置方法点击这里查看
- 【优化设置】采集变体详情导致采集过慢
采集变体详情会请求每个变体的价格等信息,开启后,如果某个商品变体过多时,大幅降低采集速度。如果您是【旗舰版】授权用户,您可以使用多线程模式采集变体详情:在【系统设置】下【采集速度】中勾选 【采集变体详情启动多线程采集】,并设置线程数5-10之间,即可大幅提高采集速度。详细请点击这里
- 【优化设置】检查您配置的HTTP代理是否有效
若您配置了HTTP代理,但是代理软件没有打开或设置的代理IP连不上了,软件会一直尝试重复连接代理,消耗时间,导致软件一直卡住,因此没使用代理时或代理软件无法连接时(例如蓝灯这种代理,经常灰色图标连不上),请您在【HTTP代理池】中关闭HTTP代理。并关闭【系统设置】里【自动连接系统代理】功能,防止连接到系统的代理上。
- 【优化设置】检查您的VPN软件是否可用,是否可以连接,HTTP代理是否配置正确。
如果您开了VPN代理软件或连接了VPN通道,请检查您的代理能否连接,能否访问Amazon。例如强制关闭VPN软件后,导致系统网络出现异常。由于VPN代理出现异常,采集软件采集时会一直尝试连接,导致获取不到数据或采集一直卡住,采集很慢,因此请检查您的VPN代理是否出问题。
如果不想让本软件连接系统代理,请在【系统设置】关闭【自动连接系统代理】选项,避免采集软件连接到系统错误的代理上。(如果您的VPN代理是全局代理,关了此功能不一定有效,请检查您的VPN是否可用,只要保证VPN能访问Amazon即可)
- 【优化设置】检查您的采集网络模式
在【系统设置】,【网络设置】中,修改网络模式。
WinHttp模式:此为本软件默认的网络接口,从软件发布至今一直作为默认值,如果采集访问网络时没有经常卡住,建议使用此模式采集即可。
CxHttp模式:使用CURLAPI接口进行网络访问,为创想软件整合开发而成,此项采集时不容易卡住、网络稳定性好,有自动纠错的能力。采集总是卡住建议您切换成此模式进行采集。(由于此模式稳定性还需要测试,因此没有作为出厂默认值)
WinInet模式:采集没问题时,不建议使用此模式,超时功能不稳定,容易卡住,经常采集卡顿出问题都是使用此模式导致。
补充:采集时,软件左下角,状态文本上有“*”,则代表使用wininet模式。如果是“X”,则代表使用cxhttp模式。
默认出厂时,【系统设置】的【采集失败时,自动切换网络模式】是打开的,因此如果采集失败,软件会自动换网络模式采集,由于上述WinInet模式稳定性一般,经常卡在此模式上,导致采集总是出问题,您可以考虑关闭此项,并选择一个稳定的网络模式进行采集尝试解决。
有关此模式其他问题,您可以联系技术客服咨询。
- 【优化设置】系统设置中,设置网络超时,不要设置0,建议设置为15-30之间。
如果您没有调节超时时间,则无需设置,软件默认情况下已设置到理想值。如果设置0,会因为网络卡住一直等待导致采集很慢。
- 【置于海外】将软件部署到海外的VPS主机上
此种方法等于直接用国外的电脑采集数据,速度上比较稳定。
- 【置于海外】购买多个采集器部署到多个电脑或VPS上进行采集
将采集业务分开到多个VPS或电脑上,可提高采集速度。(本软件不适合分布式、大规模的爬虫,本软件适合日常数据整理、铺货等轻量化数据需求)
- 【彻底解决】谷歌Chrome浏览器访问亚马逊速度很快
本软件已经内置了Chrome浏览器插件采集模式,如果你Chrome浏览器访问亚马逊速度很稳定,您可以在【系统设置】打开【使用谷歌Chrome浏览器采集】选项,稍等片刻,软件连上Chrome浏览器后,您再采集数据。只要保证您的Chrome浏览器能正常访问亚马逊,软件就能正常采集。此方法可以作为终极解决手段,因为如果您谷歌Chrome浏览器也无法正常访问亚马逊时,代表您的系统网络有异常!请尝试换IP解决。具体操作请查看此处
- 【优化设置】一台电脑开多个采集器同时进行采集,但此方法容易被采集屏蔽
注意:多开请复制多份软件分别打开,并保证数据目录分别进行设置避免数据冲突
- 【优化设置】频繁屏蔽导致验证码弹窗、自动暂停影响了采集速度
尝试使用其他方法解除屏蔽,具体请看解除屏蔽的相关教程
- 【优化设置】纯粹您的网速慢问题,例如被宽带速率过低、路由器或其他上网设备过热、网络设备问题、被其他防火墙等软件限速等情况也会导致下载速度过慢
此问题请联系您的网络管理员或联系电信运营商解决
-