【进阶篇】利用代理软件提高采集速度

By | 2017年5月1日
本采集器支持HTTP代理,只需要将代理IP添加到采集器中,即可实现自动切换、采集屏蔽自动切换IP的功能。
什么是HTTP代理?代理就是一个网络中间件,例如需要访问亚马逊页面,我们先向代理请求,代理再从亚马逊请求数据后,返回给我们。代理的作用可以帮我们提高访问亚马逊网站的速度(当然,速度取决于您代理的网络速度)也可以帮助我们解决一些亚马逊地区访问限制等问题。
什么情况下需要配置代理?在您无法采集日本亚马逊商品数据时、或者您当前采集IP被亚马逊网站屏蔽无法访问、或本机网络采集速度很慢的情况下则需要使用代理软件(通道)解决数据采集访问的一些问题,如果您没有遇到上述问题,采集一切正常建议您不要使用代理功能,不过大部分情况下本软件都能正常采集,您无需使用代理软件即可进行数据采集。

文章尾部我们附上了一些其他的国外或国内的代理供您参考

 

举例Lantern(蓝.灯) HTTP代理

现在网络上有很多HTTP代理服务器,有很多代理都是免费的,可以实现国内代理也有国外代理轻松自动切换IP采集,这里我们以Lantern代理作为例子,介绍本采集器配置HTTP代理的方法,此软件每个月目前赠送500M免费流量,足够大家采集一批数据了,无限流量的需要购买哦。


如果大家有购买lantern年费,可输入 MBMV5G 这个邀请码,即可额外获得一个月授权哦

注意:windowsXP系统用户,如果您使用的是IE6浏览器,使用WinInet模式采集可能不支持代理功能,建议升级到IE8,点击这里下载IE8升级包即可升级。IE6会导致采集不稳定等情况出现


采集软件HTTP代理设置步骤

(此处仅作举例介绍代理技术原理,lantern非本公司产品且和其没有利益关系,因此我们不受理此软件的售后等服务,有疑问请联系lantern软件方面的技术支持)

注意:该软件是HTTP类型的代理,如果您使用的是全局V P N工具或拨号软件,这类软件一般是整台电脑全局代理的,直接开启即可使用即可,本软件中无需配置即可正常采集。

 

获取代理IP地址

1.首先下载得到Lantern软件,不再提供此软件下载地址

2.将下载的lantern软件解压,并运行Lantern.exe,软件将会跳转到浏览器中,如下图所示:

3.点击左上角的 菜单按钮,点击设置,进入设置栏,然后点击高级设置,如下图:

获取到lantern的本地代理IP,您可以在软件中配置此代理来进行采集。

4.如图所示,将图中方框圈出来的选项勾上,然后圆形圈出来的就是lantern的HTTP代理地址,我们将这个地址复制

 

在采集软件中配置

5.接下来,进入采集器,在顶部菜单栏中,找到“软件设置”,点击“设置采集HTTP代理”,并按下图进行添加设置:

填写IP端口地址,并添加,添加后选中此IP。然后开启“开启使用代理”,只有开启此项才能使用代理进行采集。

6.如上图所示,将刚刚lantern的HTTP代理地址复制,一般是“127.0.0.1:xxxx”,将该地地址按图中方式填写,无需用户名密码,点击添加,即可将该HTTP代理添加到列表中,然后勾选“开启使用代理”。

配置完成

至此设置完成。采集时将通过选中代理访问亚马逊获取数据,实现多IP切换采集。

 

测试IP是否可用

你也可以测试IP是否可以正常连接。在采集日志中,点击查看当前IP来测试IP地址是否可以连接网络

如果测试的IP地址和地址信息显示的是您本机的IP,那代表没有成功连接上此HTTP代理。请您检查此代理是否可用

 

使用HTTP代理须知

1.无效的代理会导致采集失败,使用前请测试您的代理是否可用,是否为HTTP代理

2.代理IP格式为 IP:端口号  例如127.0.0.1:50156,有些代理还需要用户名密码

3.代理切换后,在采集日志里 即可看到当前使用的代理

4.软件支持测试代理的PING连接速度,一般情况下PING测试无效不代表代理无法使用,很多HTTP代理是不支持PING测试的

5.软件支持测试代理IP的可用性,有些代理连接上可能会返回404或其他页面内容,导致本软件也会判定能够正常访问到数据,因此代理能否使用,在采集时即可区分.

6.本教程仅提供用于外贸途径的代理访问和技术原理说明,帮助外贸卖家提高访问亚马逊网站速度和轻松收集亚马逊商品数据,请自觉遵守法律法规不要用于非法用途,否则后果自负。

 

若要查看是否开启了代理,可在采集日志中查看。
(注意,如果设置代理有误,会导致采集不到数据等情况,请检查好代理不要填写有误,代理要确保可用)

 

进阶:利用HTTP代理切换IP和本机IP轮流切换采集,实现智能采集防屏蔽:

如果您真的真的不想输入验证码,很多用户没工夫去输入验证码,那么您可以使用HTTP代理采集功能,HTTP代理可改变访问亚马逊的IP地址,从而解除屏蔽,并且HTTP代理功能支持本机和HTTP代理间的智能切换,屏蔽了切换到HTTP代理IP采集,一旦再被屏蔽就可以切换会本机的IP进行采集,从而实现交叉采集,经过测试单线程稳定采集50W不屏蔽不提示输入验证码!

操作方法:

软件中按下F10键打开代理配置窗口(该功能仅限企业版使用),勾选“被采集屏蔽则自动切换代理服务器” 功能,开启该功能后,软件采集过程中若被采集屏蔽,将按照被采集屏蔽代理切换方式的设置进行切换。默认是按顺序进行切换。记得也要开启总开关哦。
注意:设置的所有HTTP代理务必保证可靠有效,否则采集时屏蔽切换代理,切换到无效的代理会导致接下去采集均失败,请注意这点。

我们要设置被屏蔽切换到HTTP代理127.0.0.1:50156,一旦127.0.0.1:50156被屏蔽又想让他自动切换会本地IP直接采集,那么可以添加一个新的代理,ip地址填写一个带“*”符号的代理即可,如果设置代理很多,要进行多次切换回本地IP,可使用*带一个数字即可,例如*、*1、*2均可,可混插在代理列表中,如下图:

上图的设置代表,有两个代理,一个是使用“127.0.0.1:50156”、一个代理是不使用代理本机IP直接访问。
如此设置后,一旦采集被屏蔽,软件将切换会本机直接访问,不使用代理,即可实现代理交叉轮流切换IP进行采集,单线程采集很稳定屏蔽少!

 

 

附录

本教程仅提供友情介绍,此处举例的所有代理工具或IP非本我们的产品,和这些产品没有任何利益关联,同时我们没有收取任何中间费用,因此不提供任何有关此软件的担保,有任何疑问请咨询购买或使用的服务商

本教程仅提供数据采集相关的代理配置技术原理说明和介绍,教程中介绍使用相关代理软件仅限外贸使用,请遵守法律法规不要用于非法用途,后果自负。

下面我们介绍一些代理和免费拨号软件

 

1.Lantern(蓝.灯),响应速度很快,配置简单,用来访问美国亚马逊网站速度飞快。缺点是偶尔出现连不上或无法使用的情况。下载地址本教程不再提供

2.EXPRESS代理,速度响应适中:http://www.expressvpn.com/

EXPRESS代理能够全局代理,支持本采集器采集数据,支持切换通道,目前测试下来比lantern(蓝.灯)方便无需在本软件中配置。但是经常出现通道连接不上的情况,可以选择香港线或美国线路5,具体您自行测试,此处不再做赘述。

 

3豆芽拨号软件,国内IP动态拨号 https://www.douyaruanjian.com/

此软件可以随机或手动选择更换本机IP,将您电脑IP切换为任意IP,缺点和VPN一样,会全局代理。速度测试下来还可以,有免费赠送时长。

 

4.DATA5U代理:http://www.data5u.com/free/gwgn/index.shtml

5.美国或国内代理:https://proxy.horocn.com/free-proxy.html

6.一些代理介绍教程:https://www.zhihu.com/question/55807309

7.大象代理:http://www.daxiangdaili.com/

8.西刺代理:http://www.xicidaili.com/

9.美国免费代理获取 https://www.us-proxy.org/ 

10.更多可以百度搜索国外代理IP 或谷歌搜索相关信息

获取到代理IP和端口号后,只需要在采集器中,点击HTTP代理,然后添加即可。(注意格式为 IP地址:端口,例如192.168.1.1:5000),添加后,务必一同打开代理总开关,然后即可开始采集,在采集日志中,状态区域,可以看到当前使用的代理IP。
注意:不是随便一个代理IP都能使用,如果无法使用的代理,采集器会自动使用本地IP采集,因此请检查代理是否可用

发表评论