目录
配置代理采集
什么是网络代理?
代理(VPN)是网络中的中间件,就像数据中转站。在采集访问亚马逊时,先向代理服务器请求亚马逊页面数据,而后代理服务器去访问亚马逊获取数据再把数据转发到采集软件。此时代理就起到中间人作用,可以用代理服务器解决网络拥堵、区域限制等。政策原因,我们概不提供网络代理相关服务和咨询,您可自行向电信部门申请建立企业VPN通道、使用海外VPS等形式用外网环境采集。
- 采集亚马逊日本站的数据
- 解决亚马逊一些地区限制问题,按当地的结果来采集商品(国内网络可设置邮编来解决,不一定要用代理)。
- 本机访问亚马逊速度很慢,通过使用代理采集,可提高采集速度(也要确保代理访问亚马逊够快)
除了亚马逊日本站以外,用国内网络就可以采集了,除非网络不稳定!
1.自动连接代理
先确保代理软件已开启
开启自动连接系统代理,可自动连接到系统代理服务器获取采集数据。
如下图,打开【自动连接系统代理】,就会自动连接代理软件采集了,无需其他设置。目前已支持大部分代理软件,如果开启后,还是不行,请尝试手动配置。
说明:
-
- 如果你关闭了代理软件,采集软件也会自动取消代理,省去不必要的麻烦(否则是软件里手动配置代理IP)
- 如果采集器无法连接您的代理,请打开您的代理软件(VPN),寻找HTTP代理IP,手动填写到软件中尝试解决。具体操作查看下文手动配置代理方法。
- 如果系统的代理软件被关了、强制关闭代理软件、或代理无法连接,采集时网络会异常,采集卡住、无法采集或报错返回空数据,您可以在【系统设置】开启【多次连接系统代理失败自动关闭使用系统代理】功能避免出现此问题。
- 如果在【HTTP代理池】里手动填写了代理IP,本功能无效,会优先用HTTP代理池里的代理IP采集数据。
2.手动连接代理
如果上面自动连接代理无效,或您的代理只有一串IP地址,可按下面方法操作。
如果您不知道您VPN代理的代理IP,请点击这里查看系统代理IP的方法,将代理IP端口复制并按下文方法添加。
如下图,进入软件,点击主界面中的【代理池】打开代理设置。
如下图,选择“代理IP池”,点击【设置】
如下图所示,将代理IP和端口号粘贴,一般是“127.0.0.1:xxxx”填写即可。如果有用户名密码也写好。
然后点击【添加/修改】,即可添加,添加后选中代理。
设置好,采集时就会连接此代理IP进行采集。务必确保填写的代理IP有效,不要有全角冒号(要英文冒号)、空格等情况。
代理填写信息解释
-
- 代理IP地址:
即您代理的IP地址和端口,采集软件连接此IP来连上您的代理。填写到HTTP代理池里的可以是IP,也可以是域名。格式为 IP地址或域名: 端口。例如www.proyx.net:6222 或 127.0.0.1:56552。如果填写“*”,则代表该项使用本机IP,常用于本机和代理IP轮流切换之用途 - 用户名:
您代理的登录用户名,如果没有用户或支持匿名请留空 - 密码:
您代理的登录密码。没有则留空。
- 代理IP地址:
常见代理软件配置方法
非上述代理软件,请继续看下面文章
如果您配置代理采集遇到困难,请联系技术支持
使用代理注意事项
- 代理软件不能关闭。使用代理时,代理软件不能关闭,同时请确保您的代理可以正常连接,否则将导致无法连接,导致采集卡顿、采集失败等情况
- 代理无效时请关闭。不使用代理时、或您的代理无效,连接不上时(例如关闭蓝灯软件),请一并关掉采集软件中【系统设置】【规避屏蔽】【HTTP代理池】功能中的的【开启使用代理总开关】,否则采集时连不上代理软件会一直重复尝试连接,导致采集很慢卡顿,避免采集时总是超时或异常卡顿。
- 无效的代理会导致采集失败。使用前请测试您的代理是否可用,是否为HTTP代理。软件目前不支持stocket代理
- 代理IP格式为 IP或域名:端口号 例如127.0.0.1:50156,有些代理还需要用户名密码
- 在采集日志里 即可看到当前使用的代理IP
- 软件支持测试代理的PING连接速度,一般情况下PING测试无效不代表代理无法使用,很多HTTP代理是不支持PING测试的
- 软件支持测试代理IP的可用性,有些代理连接上可能会返回404或其他页面内容,导致本软件也会判定能够正常访问到数据,因此代理能否使用,在采集时即可区分
FAQ
如何测试当前采集时使用的代理?
【采集日志】中可以看到当前使用的代理IP。
您可以点击【查看当前IP】来刷新代理的公网信息。如果是外网地区代表连接成功,反之亦然
如上图,显示采集IP为美国,则代表已成功连接上VPN或HTTP代理,此时采集将使用此代理来获取数据。
采集软件那些数据会从代理获取?
采集亚马逊网页、下载图片、获取reviews、获取跟卖卖家列表、获取关联商品、获取跟卖最低价、获取问答、获取店铺信息这些大部分数据都从您配置的代理来获取。如果您开启了使用Chrome浏览器来采集时,您软件中配置的代理将无效,因为软件通过Chrome浏览器来获取采集数据,数据获取结果取决于Chrome浏览器,那您需要让浏览器来连接代理,包括其他信息也需要在浏览器里检查。
为什么使用了代理,采集时仍然是本机IP?
- 检查是否配置的HTTP代理,请按上述教程配置。
- 检查是否在【系统设置】【规避屏蔽】【HTTP代理池】中开启了【开启使用代理】
- 是否在【HTTP代理池】中选中了所需的代理,在采集日志中可以查看当前使用的代理。
- 检查您的HTTP代理是否可用,是否可以联通,IP或域名是否有效,填写的信息是否可用。
- 检查填写的代理信息格式是否正确。
如何配置大量代理IP和大数据采集用的全自动化代理IP池?
本软件仅提供最基础的代理IP配置管理功能、和自动连接当前系统代理的功能。本软件内置的代理IP池不支持大量IP添加,只能用于管理代理IP并方便切换的用途。
本软件代理IP是所有采集线程共享的,不支持每个线程独立环境。因为本软件不适合用于大数据采集、大并发采集、多线程采集以及集群爬虫,适合日常运营数据整理收集、铺货、商品数据分析等日常运营用途,因此没有提供问题所述的这些功能。
windowsXP系统用户请注意
现在windows7都已经要淘汰了,我们也已停止windowsXP下使用本软件的技术支持,您非要用的话,请升级到XP支持的最大版本的IE浏览器(目前IE浏览器都已经要淘汰了)
windowsXP系统用户,如果您使用的是IE6浏览器,使用WinInet模式采集可能不支持代理功能,建议升级到IE8,点击这里下载IE8升级包即可升级。IE6会导致采集不稳定等情况出现
特别声明
- 本软件定位为日常数据选品、铺货采集等轻量化简单的数据收集功能,我们不提供“大并发”、“大数据”以及通过配置多代理IP多线程、分布式等形式来进行采集功能,因此本软件不适合日采集量过大的需求,仅适合轻量化日常运营数据整理之用途!若您利用代理功能规避本软件限制进行大数据采集,自行承担法律民事责任。
- 请合法合规使用本软件,禁止非法用途,严禁将采集的数据用于非法目的以及扰乱市场,如果发现将产品用于违法违规,将永久冻结账户且不退回任何费用,并上报公安部门。
附录
为了方便大家,这里介绍一些可用于采集的代理工具,提高采集速度。
蓝灯:可以采集亚马逊日本站,如上文介绍的,但是有时候不稳定,会出现连不上的问题,但能用的时候速度很快,配置采集教程点这里
西瓜:采集日本等站点推荐,多国通道可用,速度够快,测试下来稳定可靠,价格便宜,按月流量和包流量两种计费,点击这里订购注册(打不开请用代理),下载代理客户端并将订阅地址粘贴后刷新订阅,选择需要的代理通道(美国、香港等),然后采集软件里设置使用系统代理,或自己手动输入HTTP代理的IP为:127.0.0.1:10809,然后采集数据即可,具体配置代理设置方法查看上面教程。该代理VPN客户端、配置教程请看他们官网介绍。配置采集教程点这里查看
ExpressVpn:可以采集亚马逊日本站,全局代理,经常需要更新通道,但是凑合能用,价格略贵,每月79RMB. 采集速度一般.(自行谷歌或百度搜索)
您还可以使用国际企业宽带、跨境路由器等设备,这些无需设置代理即可采集。
如需更多代理介绍,您可以自己谷歌或百度搜索,大部分都会提供试用,试用采集器能用后再选购哦!
我们不提供任何代理服务和代理IP、以及各类“翻墙”服务,订购代理服务请您自行甄别,请勿将代理用于非法用途,用户自行承担VPN代理使用的风险。