【基础】亚马逊采集屏蔽解决和500错误解决

2017-05-01 03:23:19

By | 2017年5月1日
0 Comment

什么是采集屏蔽问题？

😣亚马逊禁止短时间内用同一 IP 频繁访问大量网页，否则会被识别为爬虫采集而要求输入验证码，若输入多次后仍继续大量采集或并发请求，可能会被禁止访问并报错 500 异常，IP 可能被暂时封禁几十分钟，此时建议更换 IP；即使是正常访问，使用卖家精灵、JS 等会自动访问每个商品详情页的浏览器插件，也可能因访问量激增触发屏蔽问题。但一般只会影响IP，过一会又可以继续采集。

采集屏蔽导致：

    1. 采集过程中需要输入验证码才能继续采集
    2. 采集数据一直跳转到500错误
    3. 商品正常但是采集商品一直跳转404提示(变狗)

 

采集多少数据会被屏蔽?

亚马逊屏蔽采集行为没有固定的 “数据量阈值”，是否触发屏蔽与 IP 纯净度（如是否为家用宽带、是否多人共享或使用 VPS 服务器）、采集环境（本机操作或集群式爬虫）、访问频率等多因素相关。根据实测参考：2024 年使用阿里云 VPS 服务器曾采集 3 万 + 条商品详情未触发验证码，也有设备采集几百条时需输入验证码，输入后可继续采集数千条；日常轻量化采集（如家用宽带 + 本机操作）触发屏蔽概率较低，软件会自动弹窗提示验证，验证后可继续使用。需注意：本工具仅适合中小规模选品、铺货数据采集，不支持大并发或集群式爬虫操作。

 

解决屏蔽

1.输入验证码继续采集

输入验证码是我们推荐的做法，虽本软件已特别优化，屏蔽概率远低于同行业其他软件，但不能保证100%没有验证码，遇到了输入验证码即可继续采集。

在铺货采集量不大（每日几千到一万条 ASIN）的情况下，输入验证码经测试稳定且符合亚马逊规则。采集途中若被亚马逊识别，会弹出验证码窗口，若未输入，软件会自动超时跳过。需要注意的是，若一直频繁输入验证码，可能会造成 500 异常报错。


如下图，采集时会弹出此窗口，输入验证码后即可继续采集。


为什么我输入多次验证码依然无效，频繁弹出验证码，怎么解决？

    1. 使用最新版采集软件
      请先确保使用的是最新版的采集软件，软件中按下F1或点击帮助，点击检查更新检查软件版本，也可以到官网手动下载最新版软件。尤其20240004版本起遇到验证码问题通过向导方式指导您解决，您无需再按本教程逐一排查，解决更加得心应手。
    2. 进入浏览器输入验证码
      由于IE浏览器已经被微软停用了,建议绑定edge浏览器或谷歌浏览器再采集。中途如果验证码输入多次无效，请进入绑定的浏览器里输入验证码。
      如上图，绑定的是IE浏览器，则点击【使用IE浏览器输入】按钮，进入网页输入验证码后，不用在输入验证码，点【继续采集】即可
    3. 多开软件或开启了多线程采集
      建议：如果您同时打开多个采集软件采集、或者使用了其他采集软件、卖家精灵插件等都会造成采集屏蔽加剧，建议您只用一个采集，如果一定要多个，请看下面其他防屏蔽的教程。
      如果多开或用多线程采集时，遇到屏蔽时，可能会弹出多个验证码窗口，或者输入完验证码又短时间频繁弹出，遇到此情况，您只需要输入一次验证码，然后其他窗口点击【继续采集】尝试跳过即可。只要一次输入正确即可。
    4. 清空缓存后再尝试继续采集
      有时候邮编等缓存会导致验证码一直输入无效。可以点击【系统设置】，点击【清空COOKIE缓存】，清空后，请点击【继续采集】，然后输入一次验证码再试。
    5. 清空缓存后记得浏览器访问一次亚马逊
      如果频繁弹出验证码，请您用浏览器打开一次亚马逊网页，刷新一下，比如，采集美国就用绑定的浏览器打开一次美国亚马逊网页。
    6. 检查VPN或HTTP代理
      如果您使用了蓝灯或者其他VPN，请检查浏览器的代理和本软件一致。如果本软件的采集IP和浏览器的IP不一样，会导致输入验证码多次输入无效的问题。（如果用蓝灯代理，请重启蓝灯再输入验证码）
    7. 改成浏览器模拟采集
      如果一直被采集屏蔽无法解决，如果您的浏览器可以正常打开亚马逊网页，建议开启浏览器模拟采集功能，【系统设置】里勾上【使用chrome浏览器模拟采集】功能，点击这里了解开启
    8. 以上方法都不行，说明您的电脑无法正常访问亚马逊了（因为第6条，您的浏览器也打不开亚马逊），此时您只能按下面方法操作了
    9. 可联系我们远程排查（必须上面都试过才支持远程，否则不提供）

 

 

2.浏览器能正常访问亚马逊

如果您的chrome谷歌浏览器或edge等浏览器可以正常打开要采集的网页，可以考虑直接使用浏览器模拟采集来解决问题。

在【系统设置】里，勾选【优先使用chromium浏览器模拟采集】功能，开启后后续获取采集数据都从您的浏览器直接获取，只要保证浏览器正常访问亚马逊即可。（包括邮编和语言配置、验证码输入都在这个浏览器设置好再采集）

具体设置步骤点击这里查看

3.使用HTTP代理换IP继续采集

如果你有HTTP代理IP或代理VPN，可以使用代理和本地IP轮流采集，降低屏蔽问题。

进入【HTTP代理池】功能（按下F12），勾选【被采集屏蔽则自动切换代理服务器】 功能。

采集过程中会自动从代理IP里挑选一个代理进行采集。请务必提供有效的代理IP，如果代理IP没法连接会导致采集失败、网络访问失败等问题。

本地IP和代理IP轮流切换采集方法：

比如想让软件被屏蔽后自动切换到代理IP，再被屏蔽又换回本地IP，一直自动轮流切换，比如代理IP为127.0.0.1:50156，则把代理添加进去，然后再添加一个代理，IP地址写“*”，也就是不使用代理IP（用本机的IP）。如下图，如果要插入多个本地IP，可以输入“*1”、“*2”，以此类推。

如下图：有两个代理，一个是使用“127.0.0.1:50156”、一个代理IP为“*”，代表不使用代理从本机IP直接访问。

提供的代理务必保证有效，必须能正常访问的IP，否则会导致采集出现其他网络异常

HTTP代理配置详细介绍 ： https://blog.cxsup.com/archives/158

4.使用隧道代理、自动提取代理IP

现在很多HTTP代理提供商，您可以购买代理连接也可以用隧道代理。

什么是隧道代理？简单说就是IP提供商那里（网上搜隧道代理会出来一堆服务商），购买后给你一串IP地址/用户名(如果有)/密码(如果有)、将这个IP填写到软件代理池里，再启动采集，此时每次访问亚马逊IP都会变，可以降低验证码问题。

什么是自动提取代理IP？就是IP提供商（网上搜代理IP一堆服务商）给你一个地址，一般在他网页上生成，可以选择IP地区、生成IP数量然后生成一个地址，把这个地址填写到采集器里，配置好提取位置，采集器就会定时访问这个地址，提取代理IP，自动切换IP来采集。

上面两种方法都可以实现换IP采集，稳不稳定取决于您的代理提供商，请确保设置正确再采集，建议采集前在系统设置 清空缓存并重新设置一下邮编再采集。具体介绍请查看代理配置介绍

 

5.自动宽带拨号换IP继续采集

家用宽带重新拨号连接一般会重新分配IP

通过宽带ADSL重新拨号、重启光猫等方式都可以更换IP地址，从而解决屏蔽。

进入【系统设置】，点【采集屏蔽设置】，点击【设置屏蔽自动宽带拨号】按钮，勾选【被屏蔽自动拨号更换IP地址】选项，然后输入你的宽带账号密码并保存即可。建议测试一下，保证可以正常拨号。如下图

拨号功能使用注意：您电脑必须是直连外网环境（没使用路由器，电脑通过拨号上网）才能拨号，具体咨询您的电信运营商

拨号相关补充：

      • 现在网上有很多ADSL拨号软件，和VPN差不多，购买ADSL拨号软件也可以自动拨号换IP
      • 淘宝还有出售拨号VPS，这类VPS提供了可拨号功能,每次拨号均可以修改VPS的IP，因此只需要将采集器放置到VPS中，然后使用商家提供的账号即可拨号换IP，非常方便，采集全自动无需手动换IP。
      • 由于不同系统配置不同，拨号环境也不同，本软件可能部分电脑会出现拨号不上或拨号卡顿失败的问题，您也可以网上找其他的定时拨号小工具，同样也可以定时拨号，简单方便

（本软件提供的拨号功能每次只能拨号1次，整台电脑IP将被更换，不建议频繁拨号，因为亚马逊采集很少出问题，您正常采集即可，大部分情况无需配置拨号采集）

6.使用VPN代理换IP

第2种方法，HTTP代理类似差不多，但是单个IP采集多了仍然会被屏蔽，此时还是需要输入验证码或换IP才能继续采集

推荐香港线路、台湾、日本线路的V P N线路。

注意：使用VPN记得在【采集设置】打开【自动连接系统代理】功能，才能连上您的VPN，如果开启了，还连不上，请把你的VPN调节到全局代理（整台电脑都代理）。可以在【采集日志】里检查IP，查看IP是否为外网的IP地址，可以检查是否成功脸上了代理。

7.等待一会再采集

推荐此方法，在亚马逊采集限制规则内采集
亚马逊采集屏蔽一般过一会就会取消，这个时间没有固定值，一般15-30分钟甚至更长，可在系统设置中，找到被采集屏蔽暂停时长即可设置暂停时间，例如设置15分钟后，采集过程中如果被采集屏蔽，会弹出验证码输入框，如果用户没有输入验证码等待15分钟后，软件会自动继续进行采集，假如15分钟后亚马逊解除采集屏蔽，那么就可以自动继续采集下面的数据了。

8.自行开发验证码输入插件

有开发能力的客户，可以自行开发插件DLL文件，详细说明请看：https://blog.cxsup.com/archives/703

常见问题

为什么采集失败提示500错误？

如果您采集没有遇到验证码，但是采集日志采集出错提示500错误。

原因：

  • 连续采集某页商品过量，例如采集了大量的店铺商品，一直在顺序翻页采集，被亚马逊判定为机器人则屏蔽禁止访问或某个页面报500错误。
  • 使用多线程或多开软件，大量采集亚马逊网页，短时间过量的请求很容易让亚马逊禁止访问。

解决办法：

  • 尝试在【系统设置】点【清空COOKIE】，清空浏览器指纹缓存后，再尝试继续采集。不行就多清空几次。
  • 如果您Chrome浏览器或edge浏览器能正常访问Amazon，则可以在【系统设置】打开【开启谷歌Chrome浏览器采集】，用Chrome浏览器采集可解决大部分采集异常的问题。查看具体配置方法
  • 设置出现500错误时，自动限速，在【系统设置】【规避屏蔽】【遇500错误暂停时长】设置5-60秒左右，根据您的情况自行配置延时。
  • 【系统设置】【浏览器打开Amazon】，进入亚马逊网页刷新一下再采集，有时候没访问过亚马逊就没有缓存容易采集出错。
  • 上述方法都不行，您Chrome浏览器也打不开亚马逊网页也提示500错误，则必须换IP解决。请按照上面的“其他屏蔽解决”来操作

采集屏蔽会影响我的店铺吗？

采集屏蔽只是亚马逊防止机器人操作亚马逊的，并不会影响到店铺或买家号。但是我们仍然建议您不要在登录店铺的电脑上进行过量采集。合理规避任何风险总是有好处的。

采集多少数据会被屏蔽验证码？

亚马逊平台只要您不频繁过快访问，使用本软件采集很少遇到屏蔽，只要您合理控制采集速度即可。本软件已最大化模拟真实用户访问，使得采集屏蔽概率比人工访问屏蔽概率更低，我们实测采集任务列表页时，验证码屏蔽基本为0（测试采集50万数据时也没有验证码弹窗），即使弹窗，输入一次验证码即可，如果是采集ASIN详细信息，多线程下几千条也遇不到一次验证码弹窗，只要IP干净，没用爬虫IP或各种云服务器的IP很少遇到验证码屏蔽，因此您大可不必担心，无需刻意规避亚马逊采集屏蔽，正常使用即可。（若本软件采集量无法满足您的需求，请选择其他软件，本软件本身定位就不是大数据大流量的采集工具）

为什么输入验证码一直无效？

请按上述验证码部分说明解决。

我该如何彻底解决规避亚马逊防爬虫？

本软件的开发定位是：用于亚马逊卖家日常轻量化的运营数据收集、铺货、批量跟卖、选品分析等用途，适合简单快速整理店铺、类目、搜索结果的商品数据以及ASIN的商品信息。

我们软件暂未提供绕过屏蔽的直接解决办法，因此不推荐用于将本软件用于大并发的爬虫采集、大数据采集等。如果您需要进行多线程、分布式、大并发等手段来快速大量的获取亚马逊商品数据，请选择其他软件产品。

免责声明

本软件提供了商品数据采集和reviews采集等功能，所有采集的数据均来源于Amazon网页公开数据，采集过程为单线程（图片下载为多线程支持、采集详情页支持多线程），为您提供商品数据自动整理、数据编辑、跟卖采集、简单数据分析统计等提高运营效率的功能。

但是如下行为我们不建议您使用：

    1. 大数据大并发请求亚马逊网页采集，超过亚马逊平台正常流量访问承载量
    2. 利用采集功能恶意点击广告等行为（本身本软件就不支持此功能）
    3. 利用采集功能扰乱亚马逊正常运营
    4. 收集数据用于其他非正常途径以及违反法律的行为

将本软件用于以上用途风险自行承担（虽然采集亚马逊公开的数据法律风险几乎为零，但是也请您注意）。

 

 

 

 

发表回复