【创想电商采集助手】采集沃尔玛、沃尔玛加拿大站

| 2023-10-18 06:03:11

By | 2023年10月18日

创想电商采集助手已支持沃尔玛、沃尔玛加拿大站点的数据采集,支持品牌页、搜索结果、详情页采集。

软件下载:ec.cxsup.com

 

目录

前置条件

采集操作方法

有关采集变体详情和变体商品条码

解决沃尔玛验证码

为什么验证码一直提示再试一次,我已经用美国IP采集了还是不行?

为什么按上面操作了验证码验证完后一直卡住、没反应、一直弹出、提示再试一次?

 

前置条件

  1. 请准备一个美国IP(可用VPN、代理、海外主机环境均可)来采集,当然中国IP也可以尝试,有时候也可以访问采集。
  2. 采集前,请进入【浏览器】,进入沃尔玛随便点击一些商品,建立浏览器记录。

 

操作方法

复制要采集的网址。

支持采集店铺、单个商品详情、搜索页,直接将网址复制到采集器中即可采集。

 

进入软件,粘贴要采集的网址。(可以是搜索结果、单个商品网址、品牌商品列表页)

点击开始按钮即可采集。也可以点击【开始采集】按钮来添加和管理任务。

 

如下图,正在采集中。

等待采集完成即可。

有关采集变体详情和条码

沃尔玛只有部分商品才显示条码,所以能否采集到条码取决于商品前台页面是否显示,您到后台查询的没有任何参考意义,软件只从前台抓取数据。前台没有显示条码的商品将无法采集到留空。

如果您还需要采集变体的“商品条码”(UPC/EAN),这些需要访问变体的详情页才能获取到。默认用主商品的条码,如果您开启了采集变体详情,才能获取到变体的条码等信息。

如下图,开启变体详情采集:在【设置】【采集设置】【开启采集每个变体详情】勾上即可。

如下图,重新采集获取到了商品条码

提示:开启后由于会访问每个变体的商品页,会降低采集速度、提高被平台屏蔽概率。非必要请不要开启采集变体详情的功能。目前条码必须采集变体详情,没有其他解决办法,请自行根据业务需要取舍。

 

有关验证码屏蔽解决

如果采集时被屏蔽,会弹出如下窗口。点击【PLEASE WAIT】按钮直至进度条到底部。

 

等待网页跳转到正常页面后,点击下图按钮继续采集即可。

 

为什么验证码一直提示再试一次,我已经用美国IP采集了还是不行?

此问题一般有两种可能:

  • 第一种:可能是您的访问IP问题造成。被沃尔玛识别为高风险段,建议用美国IP采集(有条件用住宅IP,有些代理IP也不行,还不如用中国IP稳定),如果换了IP记得一定要在采集软件的【浏览器】里清空缓存再采集和访问沃尔玛,否则之前其他IP的缓存也会污染导致你的IP又不行!(清空方法看下文)。
  • 第二种:可能采集器内的浏览器没有正常的沃尔玛访问记录造成的,我们可以访问一次沃尔玛首页,随便点击一些商品,而后软件会通过技术手段自动抓取访问逻辑和记录数据,此时您就可以继续采集,具体操作请往下看,本节介绍解决此问题的方法。

 

这里指导您第二种问题解决尝试,请严格按步骤说明操作。

第一:先确保用的是美国IP(其他地区,包括中国大陆的IP自行测试稳定性)。如何换IP此处不再赘述,一般可通过VPN/VPS主机等方式。

第二:不要有任何操作,先清空缓存。如下图,点击【浏览器】,点【浏览器操作】【重置缓存】

选择沃尔玛点确定,就清空浏览器所有沃尔玛缓存了,避免缓存污染。如果是采集加拿大沃尔玛选加拿大(废话)。

第三,按下图,进入沃尔玛首页。

随便在这里搜索一点什么商品,搜索后,随便点击一些商品浏览一下即可

您在浏览过程中,本软件此时会自动记录此行为并且在后台通过算法合成您的访问信息用于稍后采集,通过此方式,可大幅降低采集屏蔽(目前并无法完全解决,但足够我们采集一批数据了)

此时再继续采集尝试解决问题。

这是临时解决办法,后续我们会自动化此步骤。

注意事项:

  1. 【设置】【网络设置】里不要打开【请求时不附带cookie缓存信息】(除非你了解)
  2. 如果清空后,采集还是弹验证码。尝试输入一次。
  3. 如果验证码还是一直提示“再试一次”,你可以按照上面方法多试几次,中间不要操作错。
  4. 都不行,在【设置】【网络设置】点击【立即重置采集环境】,重启软件再进入沃尔玛首页建立浏览器记录后再采集。
  5. 上面方法都不行的话,建议换一个IP,代表你的IP不稳定。

 

为什么按上面操作了验证码验证完后一直卡住、没反应、一直弹出、提示再试一次?

  1. 验证码卡住没反应、或者输入后一直卡住,基本是单个IP采集太多数据和访问速率过快导致,即使切换了IP,也没有清空缓存而开始采集,仍然会被屏蔽,请按下面提示逐一检查尝试解决。
  2. 经过测试,采集过多或很容易出现验证码屏蔽,基本是IP问题, 因沃尔玛不对中国服务建议用美国IP采集,如果您遇到验证码问题无法手动解决,请用VPN等代理工具切换采集IP,切换IP后,务必记得在【浏览器】【浏览器操作】【重置缓存】重置沃尔玛平台缓存后,再重新采集(一般操作后会再提示验证码,验证一次尝试解决)。
    特别提醒:如果换了IP没有重置缓存,可能会造成原来的信息又被提交会被亚马逊检测关联到,您也可以【设置】里开启自动清空缓存功能,操作完成后再次采集。
  3. 如果单个IP采集过多数据,请您在【浏览器】中,点【重置缓存】,清空掉沃尔玛的缓存再试一次
  4. 降低采集速度,如果爬取速度太快也会被识别到,在【设置】【通用设置】【采集限速】中设置延迟,降低访问速度,建议设置2000-5000之间
  5. 如果用代理更换了IP,请检查设置是否正确、代理是否有效、代理是否和采集器有对接,您可以在【日志】中刷新查看当前采集的IP位置,如果是您代理的位置才代表采集器能够正常访问,如果是您本机的IP代表没有从代理获取采集数据。点击这里了解设置代理说明
  6. 上面方法都不行请先确保IP有效、尝试换一个VPN或代理软件 。推荐代理和有关代理如何设置点击这里了解
  7. 等待几分钟, 在【 浏览器】【浏览器操作】【重置缓存】清空缓存再试。
  8. 总之您必须确保【浏览器】里您采集的网页可以正常打开就可以采集。