创想电商采集助手已支持沃尔玛、沃尔玛加拿大站点的数据采集,支持品牌页、搜索结果、详情页采集。
软件下载:ec.cxsup.com
沃尔玛反爬规则说明
沃尔玛有比较复杂的反爬机制,采集过量会提示验证码,一般100个左右商品详情会出现一次(不同时段不同IP可能此值不同),您必须验证后才能继续采集。如果遇到验证码无法通过、验证码卡住点击这里了解
如果您采集沃尔玛数据量不算高,如果您网络比较好,建议您不要采集过快,可在设置中 设置采集延迟,降低请求速率。
如果您采集数据量比较大,需要更快更多的数据量,您可以订购“创想采集高匿代理”服务,实测5-10个线程采集不卡不弹验证码,速度稳定,如有需要请联系客服订购。
操作方法
复制要采集的网址。
支持采集店铺、单个商品详情、搜索页,直接将网址复制到采集器中即可采集。
进入软件,粘贴要采集的网址。(可以是搜索结果、单个商品网址、品牌商品列表页)
点击开始按钮即可采集。也可以点击【开始采集】按钮来添加和管理任务。
如下图,正在采集中。
等待采集完成即可。
有关验证码屏蔽解决
如果采集时被屏蔽,会弹出如下窗口。点击【PLEASE WAIT】按钮直至进度条到底部。
等待网页跳转到正常页面后,点击下图按钮继续采集即可。
为什么验证码验证完后一直卡住、没反应、一直弹出、提示再试一次?
- 经过测试采集过多或很容易出现验证码屏蔽,基本是IP问题, 沃尔玛对IP要求高,因沃尔玛不对中国服务建议用美国IP采集,请用VPN等代理工具切换IP到美国,然后记得在【浏览器】【浏览器操作】【重置缓存】选择沃尔玛重置后再重新采集(一般操作后会再提示验证码,验证一次尝试解决),再重新采集。
- 如果单个IP采集过多数据,请您在【浏览器】中,点【重置缓存】,清空掉沃尔玛的缓存再试一次
- 降低采集速度,如果爬取速度太快也会被识别到,在【设置】【通用设置】【采集限速】中设置延迟,降低访问速度,建议设置2000-5000之间
- 请点【设置】【采集浏览器】,切换成edge内置浏览器来尝试解决问题。
- 如果IP换了好几个也不行(前提是有效更换过),可以考虑换成其他外置的浏览器采集,在【系统设置】【采集浏览器】绑定一个您不常用的浏览器用于采集再尝试解决。
- 上面方法都不行请先确保IP有效、尝试换一个VPN或代理软件 。推荐代理和有关代理如何设置点击这里了解
注意:验证码点击没反应、无法跳过的问题基本是采集环境问题,请按上面提示一般都能解决,不能解决请更换采集IP地址,或联系我们订购“高匿名代理”来解决,我们客服不再提供进一步解决(因为也没其他可以操作,只能换IP,清空缓存)
如需帮助请联系我们