【问题解决】网络原因导致采集失败集中解决方案介绍

By | 2018年8月27日

注意亚马逊日本站服务器和域名被屏蔽导致无法正常访问,包括其他站点偶尔也会出现网络波动导致无法访问,遇到此类问题,请开代理解决,具体请看下面介绍

采集失败请先查看采集日志,如果提示都是无法获取到数据,一般是网络异常,请先检查系统网络是否正常,软件是否可以访问网络。

 

可能导致访问amazon失败原因:

1.您的网络出现问题无法正常访问网络,导致无法采集到数据

2.您修改了HOSTS文件,导致SSL认证错误,因此此种情况需要恢复HOSTS文件(如果您没有设置过此文件 请忽略本条)

3.采集时国家站点没有设置好,例如需要采集日本站,却设置美国站,导致访问失败

4.网址本身有误,提交的网址错误,请检查提交的网址是否能够正常打开

5.采集的站点因网络堵塞或者需要翻  – 墙才能够访问,此种情况请按照下面的方法解决。

 

针对网络堵塞、无法访问需要翻  -墙采集的解决方案如下:

网络原因导致的无法采集,是任何下载或采集工具无法避免的,这是硬件问题导致,但是我们仍然有解决办法。

 

遇到这种情况无法采集,一般是无法正常连接到amazon导致无法正常采集,大部分不是用户电脑的问题,是出口网络出现异常或者该站点被 电信公司/国家网络 屏蔽导致无法访问,需要访问采集有如下几种方法解决:

1.利用V P N代理工具进行采集(必须支持全局代理,也就是能让整台电脑翻 墙的软件才可以,部分V P N仅支持浏览器加载代理,而采集器无法使用,请注意!)

2.利用国外HTTP代理进行采集,本采集器支持设置HTTP代理,您可以将获取的代理IP地址、用户名密码填写到采集器中,并选中即可,具体参看http://blog.cxsup.com/archives/158

3.将本软件放在国外VPS(远程主机)上进行采集,此种方法等同于在境外进行操作,因此比较方便

 

什么是V P N:通俗的讲就是一个中转功能,帮助你访问一些数据的中间服务器,一些服务商专门提供V P N加速服务,一般用于外贸或者游戏加速,例如您访问A网站很慢甚至无法访问,但是B访问A网站速度很快,那么把B当做代理服务器,您就可以让B帮你把A的网站信息传递给你,这个B就是代理.

什么是HTTP代理:和V P N原理差不多,都是代理,只是这种代理模式简单,例如上面的例子,我们仅需要在采集器中设置代理服务器B的IP地址,采集器即可从B来请求amazon网页数据了。

因此进行数据采集建议您需要了解一点代理相关的知识,VP N 代理、HTTP代理服务请自行购买配置,我们尚未提供代理相关服务。

 

下面,我们详细介绍几种解决方案

 

1.利用V P N代理工具进行采集

V P N代理是外贸人员必备的工具,用于访问Google、Facebook等境外网站,默认是无法访问这些网站的,需要使用VPN代理,VPN代理提供了一个加密的通道,同时也可以提高采集速度。访问不上amazon很多原因是因为没有使用代理,建议使用代理提高访问速度。

受到管控,目前V P N工具比较难购买到。如果您拥有V P N代理工具,请开启V P N工具的全局代理功能(不要使用游戏模式、加速模式等,这些功能仅代理部分软件,会导致采集器无法访问代理通道),开启全局代理方法请咨询您V P N工具的销售方,因此如果需要采集器配合V P N进行采集,您必须保证采集器被V P N挂载,并实现代理,本采集器能不能成功使用V P N的通道,取决于V P N工具,因此按上述说明解决。

如果您要判断您的采集器是否已经使用V P N代理通道的IP进行访问数据,可以在新版本的采集器中,点击”采集日志”,找到”查看当前IP”,即可查看当前采集器访问网络使用的IP.如果IP还是本地IP,代表您的V P N没有成功配置

2.利用国外HTTP代理进行采集

配置HTTP代理方法请看 http://blog.cxsup.com/archives/158

HTTP代理网上很多,不仅有蓝灯可以使用,还有其他很多HTTP代理,建议使用国外的,并且必须是HTTP代理,目前不支持socket等代理方式,HTTP代理配置简单,只需要将获取的代理IP、用户名密码(如果有的话)填写到采集器,主界面的“设置代理”功能中,并开启总开关、选中相关代理即可使用,建议使用前进行测试。

提交的HTTP代理必须能够成功访问amazon,才能正常使用哦。

 

3.将本软件放在国外VPS(远程主机)上进行采集

如果您有购置美国、日本或其他境外的VPS远程桌面主机,则可以利用windows的远程桌面,连接到这些主机,将采集器安装在境外主机上采集,此种方法等于直接境外采集,速度稳定不易出错。

具体操作方法网上均有介绍

 

附录

 

如何简单快速在采集器中配置HTTP代理请看此处 http://blog.cxsup.com/archives/158

 

下面我们提供一些代理和免费的代理IP

 

我们测试发现expressV P N支持全局代理(V  P N),此工具可设置代理整台电脑,采集器无需配置即可使用,即可换IP采集,切换IP方便快速,适合数据量不大的采集.同时也可以用于采集日本站等

EXPRESS代理注册和下载地址:http://www.expressvpn.com/

EXPRESS代理能够全局代理,支持采集器,支持切换通道,目前测试下来比蓝灯方便.蓝灯不支持自己设置IP,虽然速度有保障但非常不方便

 

DATA5U代理:http://www.data5u.com/free/gwgn/index.shtml

美国或国内代理:https://proxy.horocn.com/free-proxy.html

一些代理介绍教程:https://www.zhihu.com/question/55807309

大象代理:http://www.daxiangdaili.com/

西刺代理:http://www.xicidaili.com/

 

也可以百度搜索国外代理IP 或谷歌搜索相关信息

获取到代理IP和端口号后,只需要在采集器中,点击HTTP代理,然后添加即可。(注意格式为 IP地址:端口,例如192.168.1.1:5000),添加后,务必一同打开代理总开关,然后即可开始采集,在采集日志中,状态区域,可以看到当前使用的代理IP。
注意:不是随便一个代理IP都能使用,如果无法使用的代理,采集器会自动使用本地IP采集,因此请检查代理是否可用