【亚马逊采集软件】使用代理软件采集介绍

热度 11,430 | 2017-05-01 03:26:49

By | 2017年5月1日

什么是网络代理?

代理是网络中的中间件,就像数据中转站。比如访问亚马逊时,不直接请求亚马逊,而是先向代理服务器请求,再由代理向亚马逊获取数据返回。采集数据时用代理,通过代理的IP访问亚马逊,实现IP变换采集。

什么情况需要用代理采集?
    • 采集亚马逊日本站的数据
    • 通过使用海外代理采集亚马逊,解决亚马逊一些地区限制问题,按当地的结果来采集商品(国内网络可设置邮编来解决,不一定要用代理)。
    • 本机访问亚马逊速度很慢,通过使用代理采集,可提高采集速度(也要确保代理访问亚马逊够快)

 

 

代理设置例子

配置lan灯VPN代理采集教程

配置vray网络代理采集教程

非上述代理软件,请看下面的通用教程

如果您配置代理采集遇到困难,请联系技术支持

 

 

1.自动连接代理采集

如果您电脑已打开VPN代理软件(或HTTP代理),采集软件支持自动连接。

如下图,打开【自动连接系统代理】,会连接当前系统默认的代理,很多VPN或代理都兼容,如果还不行请尝试手动配置

 

说明:

  • 如果你关闭了代理软件,采集软件也会自动取消代理,省去不必要的麻烦(否则是软件里手动配置代理IP)
  • 如果采集器无法连接您的代理,请打开您的代理软件(VPN),寻找HTTP代理IP,手动填写到软件中尝试解决。具体操作查看下文手动配置代理方法
  • 如果系统的代理软件被关了、强制关闭代理软件、或代理无法连接,采集时网络会异常,采集卡住、无法采集或报错返回空数据,您可以在【系统设置】开启【多次连接系统代理失败自动关闭使用系统代理】功能避免出现此问题。
  • 如果在【HTTP代理池】里手动填写了代理IP,本功能无效,会优先用HTTP代理池里的代理IP采集数据。

 

2.手动连接代理采集

如果上面自动连接代理无效,或您的代理只有一串IP地址,可按下面方法操作。

如下图,进入软件,点击主界面中的【代理池】按钮进入代理配置页。(或击【系统设置】【采集屏蔽设置】【HTTP代理池】配置HTTP网络代理)

 

 

如下图所示,将代理IP和端口号粘贴,一般是“127.0.0.1:xxxx”填写即可。如果有用户名密码也写好。

然后点击【添加/修改】,即可添加,记得要选中添加的代理才能生效。

最后勾选【开启使用代理】即可

代理填写信息解释

    • 代理IP地址:
      即您代理的IP地址和端口,采集软件连接此IP来连上您的代理。填写到HTTP代理池里的可以是IP,也可以是域名。格式为 IP地址或域名: 端口。例如www.proyx.net:6222 或 127.0.0.1:56552。如果填写“*”,则代表该项使用本机IP,常用于本机和代理IP轮流切换之用途
    • 用户名:
      您代理的登录用户名,如果没有用户或支持匿名请留空
    • 密码:
      您代理的登录密码。没有则留空。

网络代理说明

  1. 代理软件不能关闭。使用代理时,代理软件不能关闭,同时请确保您的代理可以正常连接,否则将导致无法连接,导致采集卡顿、采集失败等情况
  2. 代理无效时请关闭。不使用代理时、或您的代理无效,连接不上时(例如关闭蓝灯软件),请一并关掉采集软件中【系统设置】【规避屏蔽】【HTTP代理池】功能中的的【开启使用代理总开关】,否则采集时连不上代理软件会一直重复尝试连接,导致采集很慢卡顿,避免采集时总是超时或异常卡顿。
  3. 无效的代理会导致采集失败。使用前请测试您的代理是否可用,是否为HTTP代理。软件目前不支持stocket代理
  4. 代理IP格式为 IP或域名:端口号  例如127.0.0.1:50156,有些代理还需要用户名密码
  5. 在采集日志里 即可看到当前使用的代理IP
  6. 软件支持测试代理的PING连接速度,一般情况下PING测试无效不代表代理无法使用,很多HTTP代理是不支持PING测试的
  7. 软件支持测试代理IP的可用性,有些代理连接上可能会返回404或其他页面内容,导致本软件也会判定能够正常访问到数据,因此代理能否使用,在采集时即可区分

 

FAQ

如何测试当前采集时使用的代理?

【采集日志】中可以看到当前使用的代理IP。您也可以测试IP来检查。

您可以通过在软件里测试IP,来检查软件是否已连接上您的代理,如果测试IP是您宽带本地的IP则代表没连上代理,请重新检查。

在采集日志中,点击查看当前IP来测试IP地址是否可以连接网络

如上图,显示采集IP为美国,则代表已成功连接上VPN或HTTP代理,此时采集将使用此代理来获取数据。

 

 

采集软件那些数据会从代理获取?

采集亚马逊网页、下载图片、获取reviews、获取跟卖卖家列表、获取关联商品、获取跟卖最低价、获取问答、获取店铺信息这些大部分数据都从您配置的代理来获取。如果您开启了使用Chrome浏览器来采集时,您软件中配置的代理将无效,因为软件通过Chrome浏览器来获取采集数据,数据获取结果取决于Chrome浏览器,那您需要让浏览器来连接代理,包括其他信息也需要在浏览器里检查。

 

 

为什么使用了代理,采集时仍然是本机IP?

  • 检查是否配置的HTTP代理,请按上述教程配置。
  • 检查是否在【系统设置】【规避屏蔽】【HTTP代理池】中开启了【开启使用代理】
  • 是否在【HTTP代理池】中选中了所需的代理,在采集日志中可以查看当前使用的代理。
  • 检查您的HTTP代理是否可用,是否可以联通,IP或域名是否有效,填写的信息是否可用。
  • 检查填写的代理信息格式是否正确。

 

 

如何配置大量代理IP和大数据采集用的全自动化代理IP池?

本软件仅提供最基础的代理IP配置管理功能、和自动连接当前系统代理的功能。本软件内置的代理IP池不支持大量IP添加,只能用于管理代理IP并方便切换的用途。本软件代理IP是所有采集线程共享的,不支持每个线程独立环境。因为本软件无法胜任大数据采集、大并发采集、多线程采集以及集群爬虫,适合日常运营数据整理收集、铺货、商品数据分析等日常运营用途,因此没有提供问题所述的这些功能。

 

 

 

windowsXP系统用户请注意

现在windows7都已经要淘汰了,我们也已停止windowsXP下使用本软件的技术支持,您非要用的话,请升级到XP支持的最大版本的IE浏览器(目前IE浏览器都已经要淘汰了)

windowsXP系统用户,如果您使用的是IE6浏览器,使用WinInet模式采集可能不支持代理功能,建议升级到IE8,点击这里下载IE8升级包即可升级。IE6会导致采集不稳定等情况出现

 

 

特别声明

本软件定位为日常数据选品、铺货采集等轻量化简单的数据收集功能,我们不提供“大并发”、“大数据”以及通过配置多代理IP多线程、分布式等形式来进行采集功能,因此本软件不适合日采集量过大的需求,仅适合日常运营数据整理之用途!若您利用代理功能规避本软件限制进行大数据采集,后果自负。

 

 

附录

为了方便大家,这里介绍一些可用于采集的代理工具,提高采集速度。

蓝灯:可以采集亚马逊日本站,如上文介绍的,但是有时候不稳定,会出现连不上的问题,但能用的时候速度很快,配置采集教程点这里

西瓜:采集日本等站点推荐,多国通道可用,速度够快,测试下来稳定可靠,价格便宜,按月流量和包流量两种计费,点击这里订购注册(打不开请用代理),下载代理客户端并将订阅地址粘贴后刷新订阅,选择需要的代理通道(美国、香港等),然后采集软件里设置使用系统代理,或自己手动输入HTTP代理的IP为:127.0.0.1:10809,然后采集数据即可,具体配置代理设置方法查看上面教程。该代理VPN客户端、配置教程请看他们官网介绍。配置采集教程点这里查看

ExpressVpn:可以采集亚马逊日本站,全局代理,经常需要更新通道,但是凑合能用,价格略贵,每月79RMB. 采集速度一般.(自行谷歌或百度搜索)

您还可以使用国际企业宽带、跨境路由器等设备,这些无需设置代理即可采集。

如需更多代理介绍,您可以自己谷歌或百度搜索,大部分都会提供试用,试用采集器能用后再选购哦!

 

我们不提供任何代理服务和代理IP、以及各类“翻墙”服务,订购代理服务请您自行甄别,请勿将代理用于非法用途,用户自行承担VPN代理使用的风险。

 

 

发表回复