【扩展】使用外置浏览器进行采集 提高采集数据稳定性

热度 2,218 | 2021-10-14 10:14:55

By | 2021年10月14日

功能介绍

本软件默认绑定IE浏览器已被微软淘汰,Amazon很快也会不支持了,所以如果采集出问题,请绑定到新款的浏览器。

您也可以直接按【绑定浏览器步骤】2步绑定后采集,可解决大部分采集问题。

为何要绑定浏览器?

    • 解决各种采集异常,只要您的浏览器可以正常访问就可以采集,解决各种采集异常问题!
    • 直接读取浏览器的设置,省去软件中再配置邮编、语言等信息。
    • 很多代理或VPN软件只支持浏览器使用,因此您可以直接绑定到此浏览器,采集软件直接使用该浏览器获取数据
    • 亚马逊不同的浏览器返回的结果不一样,可以按您浏览器所显示的来获取采集结果。

如果采集没问题,忽略本教程,正常使用软件即可。

 

支持什么浏览器?

除火狐浏览器不支持,已支持所有谷歌chromium内核浏览器绑定,谷歌Chrome、微软edge、360极速浏览器、360安全浏览器、搜狗浏览器(可能有些版本无法绑定)、QQ浏览器等各类主流浏览器均可绑定。

 

绑定浏览器步骤

请务必保证使用最新版软件,创想亚马逊数据采集软件 (20230002以上)

请先确保 【创想亚马逊采集软件.exe】 文件是以管理员模式运行的,管理员运行方法如下:

此步骤非必要,只要您在绑定时没报错,就可以不用管理员模式运行。

 

绑定浏览器很简单,2步操作即可完成绑定。

如下图,在【系统设置】里,点击【绑定浏览器】按钮

 

进入浏览器绑定窗口,点击【修改绑定】按钮,稍等一会就会绑定完成。

绑定后,会打开一个浏览器窗口,这个窗口请不要关掉,稍后采集时会调用此浏览器来采集,如果关掉会影响采集。

如果浏览器原来是打开状态,请关掉所有已经打开的浏览器,避免出现错误。

如果您绑定提示失败,点击这里排查

至此,浏览器绑定完了,您可以继续采集数据了。

 

上图设置详细说明:

选择系统浏览器:
如果是Chrome和edge浏览器直接选择即可,如果需要使用其他浏览器,比如360安全浏览器,则点击“手动选择浏览器”。

浏览器位置:
如果是谷歌Chrome和微软edge浏览器选择会自动寻找不用设置。如果是其他浏览器,请手动选择浏览器程序(点击“浏览”按钮选择)

浏览器模拟采集数据:
建议开启,如果遇到采集问题或者采集失败、想用浏览器的结果来采集,必须勾选该项

屏蔽浏览器图片资源:
建议开启默认即可,屏蔽浏览器上图片下载降低带宽使用、提高速度。开了这个不影响图片下载、采集。

 

 

 

其他详细介绍

如果你已经按上文方法绑定并开启了模拟采集的功能,则不需要再了解这些设置,直接采集数据即可,除非你想深入了解。

你也可以在【系统设置】里分别控制绑定浏览器,下图中圈出来了两个涉及到浏览器的功能,具体功能解释请看下文。

 

功能解释

 

功能说明:浏览器模拟采集功能,勾选后,采集网页时,将调用浏览器模拟访问网页后抓取数据,由于直接使用浏览器打开网页和获取数据,可用于解决大部分本软件自身造成的采集异常,只要浏览器能正常访问亚马逊网页就能正常获取到采集数据,此模式开启后,您在本软件中配置的邮编、语言、网络代理等都无效,这些配置都直接在浏览器中设置好即可

问:什么时候需要开启此功能?

答:当您采集总是出错(自己又多次按采集日志提示操作,也无法解决)、邮编总是无法配置上、采集过程中报错、采集一直屏蔽等异常情况,都可以开启此项,开启后即可解决大部分采集异常!

 

功能说明:选中此项后,软件仅从外置浏览器读取邮编配置、语言设置、买家号登录状态等信息,然后将读取的信息用于本软件的引擎获取数据进行采集,因此如果需要设置邮编等,也请进入此浏览器来设置。不会影响采集速度。

问:什么时候需要开启此功能?

答:当您邮编无法设置总是提示失败,邮编问题导致的价格错误等、想要和浏览器邮编配置同步时,开启此选项即可,采集时系统会从您的浏览器读取session、配置缓存等进行采集,只要浏览器配置好邮编、语言等即可正常采集数据了。

 

 

 

 

 

其他补充

  1. 如果您使用外置浏览器进行采集,您只需要在浏览器中设置好邮编、语言或登录买家账号(必要的话),您可以关闭本软件中的 邮编配置、语言等,如下图,将自动刷新设置为0,避免系统自动设置邮编,浪费资源,也能提高采集软件打开的速度。
  2. 如果您采集时遇到屏蔽验证码,请您到外置浏览器中手动输入验证码!(在【系统设置】点击【外置浏览器打开Amazon】进入对应站点输入验证码)

 

 

 

问答

  • 为什么会提示 “启动绑定失败”,浏览器一直无法绑定?
    此问题一般是我们软件的浏览器插件“CBrowserHelp.exe” 运行失败导致。因此请检查系统权限。
    1.检查杀毒软件是否拦截了文件,请将采集软件目录加入白名单,避免被拦截,文件被删除。
    2.请将【创想亚马逊采集软件.exe】程序文件右键,点击以管理员方式运行,再重新绑定浏览器
    3.检查您的浏览器是否可用,请到任务管理器里面,把所有浏览器都结束掉再重新绑定,或者也可以换一个浏览器来绑定
    4.停用浏览器里的一些插件,比如卖家精灵、JS插件等,或者换一个浏览器。
    5.检查程序是否有权限执行、CBrowserHelp.exe文件是否丢失
    如果还有疑问请联系客服。
  • 问:开启谷歌浏览器采集和不开启有什么区别?
    答:直接使用外置浏览器采集,省去配置邮编、地址、买家账号(如有必要)、代理IP等配置,您谷歌浏览器中看到什么数据采集下来就是什么数据,避免因不同浏览器采集不同的情况。
  • 问:为什么我开启谷歌浏览器后又自动关闭了?
    答:请检查杀毒软件不要删除CBrowserHelp.exe文件.该文件是谷歌浏览器内核插件,若丢失或无法运行,则导致无法开启谷歌浏览器访问模块。具体原因可查看【采集日志】
  • 问:浏览器模拟采集和使用浏览器作为数据源有什么不同?
    答:在【系统设置】里,如下选项可以使用外置浏览器:
    “外置chromium浏览器模拟采集”是直接使用浏览器访问要采集的页面,然后浏览器再自动反馈给软件,软件解析到表格。因此所有数据都从浏览器获取,您只需要浏览器配置好邮编等信息即可准确无误的采集,采集结果和浏览器一致。
    “使用外置chromium浏览器”则是只读取指定浏览器的环境信息(如邮编、登录状态等信息)进行采集,速度更快,但是遇到一些问题可能还是存在不足,可直接开启浏览器模拟采集功能来解决。
  • 问:采集时是否可以关闭浏览器?
    答:无法关闭。因为需要读取外置浏览器的数据和操作浏览器进行采集。
  • 问:外置浏览器采集是否支持多线程?
    答:不支持,仅支持多进程(多开采集器)。多线程将在后续进行支持,使用多线程采集将不会用浏览器来采集,系统会使用默认方式采集数据。
  • 问:为什么绑定后,会打开很多浏览器标签但是没有反应?
    答:
    1.请把 【创想亚马逊采集软件.exe】文件右键,以管理员方式运行,再尝试绑定浏览器
    2.请先检查浏览器的版本为是否为最新版
    3.然后再检查是否安装了”卖家精灵” 等各类浏览器插件导致兼容性出现问题.您可以尝试停用此类插件,也可以换一个纯净的浏览器专门采集。
    4.尝试关闭所有浏览器窗口再尝试重新开启浏览器绑定,如果还不行,请重置您的浏览器再试。(谷歌浏览器在设置里可以重置)
  • 问:那些采集不会使用外置浏览器采集?
    答:1、使用多线程采集模式采集。2、变体详细信息采集时。3、采集图片时。4、采集简单信息时。5、采集reviews。6、采集QA问答。7、采集跟卖卖家。8、其他非商品信息不会通过浏览器采集。9、未在售商品采集。
  • 问:外置浏览器已使用VPN等环境配置,采集软件中是否还需要配置?
    答:无需配置,若您使用外置浏览器采集,则都以浏览器采集的数据为准。但是采集变体详细信息等,外置模式不支持的情况下会使用本软件内置接口采集,这些采集仍然使用软件内的代理等环境配置。因此建议您浏览器使用代理,本软件也配置好代理等环境信息。

 

注意

  • 开启上面任意一个使用外置浏览器的功能时,本软件都会打开一个浏览器窗口,请勿操作或关闭此窗口,否则会导致采集过程中异常、断线、程序未响应。
  • 采集变体详细信息、简单信息、下载图片、采集未在售商品时无法使用外置浏览器采集,但软件会自动按原有方法采集。
  • 需要占用您浏览器的标签页,采集期间不建议操作浏览器。
  • 该功能目前为测试版,建议您非必要情况,使用默认方式进行采集。(此功能主要用来解决用户IE浏览器配置邮编失败而提供的备选方案,也是采集的备选方案)
  • 开启使用外置浏览器采集时,系统采集数据将调用外置浏览器内部接口进行采集,过程中请千万不要关闭正在运行采集的窗口和标签页,避免采集中断或未响应。(虽然本软件已做应对机制,但仍然请您不要进行任何操作)
  • 使用外置浏览器采集时,以下功能将不会被生效:
    1.HTTP代理切换:如需使用代理,请直接在浏览器中开启代理即可。
    2.模拟环境
    3.暂不支持无图模式采集
    4.暂时不支持多线程
  • 严禁用于大批量数据采集等行为,造成任何影响后果自负。

 

 

 

 

 

 

以下教程适用于20230002以前的版本

开启条件

  • 升级到最新版本的创想亚马逊数据采集软件(20210028)
  • chrome浏览器建议使用版本为93.0以上。
  • 建议您采集时,Chrome浏览器暂时关掉 卖家精灵、JS等各类插件,这些插件有时候会干扰到采集,导致一直弹出空白页的情况。

 

优势

  • 您只要在chrome浏览器设置好代理或邮编信息,本软件就可以直接采集,直接调用谷歌浏览器来采集,因此您无需再在采集软件中配置邮编、语言、代理IP等等采集时的信息。
  • 很多代理或VPN软件只支持谷歌chrome浏览器,因此通过谷歌chrome浏览器采集模式,可直接支持
  • 使用chrome浏览器更加符合主流,让您可以直接采集到您看到的数据。
  • 即看即采集模式,采集过程一目了然,让您轻松掌控数据来源。
  • chrome浏览器采集更加稳定高效,相较于之前版本的MB浏览器速度和稳定性大大提高。

缺点

  • 由于需要连接Chrome浏览器获取缓存等信息采集,因此速度会稍慢,软件容易卡顿
  • 采集变体详细信息时无法使用浏览器模式采集,会自动按原有方法采集
  • 需要占用您Chrome浏览器的标签页,采集期间不建议操作Chrome浏览器。

开启方法

请先确认已安装Chrome浏览器,否则将载入异常。如果没安装将导致开启失败或者请求数据时异常!也会导致采集很慢很卡!

如下图,在系统设置里,下图中:

1.表示采集使用chrome浏览器采集,我们建议非必要不要使用chrome采集,建议您使用默认的winhttp模式采集数据。

2.为cookie和缓存来源使用chrome。您可以仅开启此项,采集时将使用chrome浏览器的邮编地区、语言等信息进行采集。

开启后,采集时将通过chrome浏览器进行采集。

如果需要查看状态和是否正常载入了chrome浏览器,请点击下图:

补充说明

  1. 如果您使用chrome浏览器进行采集,您只需要在浏览器中设置好邮编、语言或登录买家账号(必要的话),可以关闭本软件中的 邮编配置、语言等,如下图,将自动刷新设置为0,避免系统自动设置邮编,浪费资源,也能提高采集软件打开的速度。
  2. 如果您采集时遇到屏蔽验证码,请您到谷歌浏览器中手动输入验证码!(如果谷歌浏览器中无法输入验证码或提示正在采集请勿操作的提示,您可以刷新页面再试。)
  3. 如果您使用多线程采集商品数据,建议使用默认的IE浏览器获取cookie。

 

问答

 

  • 问:开启谷歌浏览器采集和不开启有什么区别?
    答:直接使用谷歌浏览器采集,省去配置邮编、地址、买家账号(如有必要)、代理IP等配置,您谷歌浏览器中看到什么数据采集下来就是什么数据,避免因不同浏览器采集不同的情况。
  • 问:为什么我开启谷歌浏览器后又自动关闭了?
    答:请检查杀毒软件不要删除CBrowserHelp.exe文件.该文件是谷歌浏览器内核插件,若丢失或无法运行,则导致无法开启谷歌浏览器访问模块。具体原因可查看【采集日志】
  • 问:谷歌浏览器采集和谷歌浏览器获取cookie有什么不同?
    答:谷歌浏览器采集是直接利用谷歌浏览器访问亚马逊获取数据解析到表格。谷歌浏览器获取cookie则是读取谷歌浏览器的环境信息(如邮编、登录状态等信息)进行采集。
  • 问:采集时是否可以关闭谷歌浏览器?
    答:无法关闭。因为需要读取谷歌浏览器的数据和操作浏览器进行采集。
  • 问:谷歌浏览器采集是否支持多线程?
    答:不支持,仅支持多进程(多开采集器)。多线程将在后续进行支持,目前如果您开启谷歌采集又开启多线程采集详细信息,则会导致程序异常,请谨慎操作。
  • 问:为什么开启Chrome浏览器采集后,打开很多浏览器窗口但是没有反应也没有使用Chrome采集?
    答:请先检查chrome浏览器的版本为93.0以上,然后再检查是否安装了”卖家精灵” 等各类Chrome浏览器插件导致兼容性出现问题.您可以尝试停用此类插件或尝试关闭所有Chrome浏览器窗口再尝试开启Chrome浏览器采集模式。
  • 问:那些采集不会使用Chrome浏览器采集?
    答:1、使用多线程采集模式采集。2、变体详细信息采集时。3、采集图片时。4、采集简单信息时。5、采集reviews。6、采集QA问答。7、采集跟卖卖家。8、其他非商品信息不会通过chrome浏览器采集
  • 问:Chrome浏览器已使用VPN等环境配置,采集软件中是否还需要配置?
    答:无需配置,若您使用Chrome浏览器采集,则都以浏览器采集的数据为准。但是采集变体详细信息等,Chrome模式不支持的情况下会使用本软件内置接口采集,这些采集仍然使用软件内的代理等环境配置。因此建议您浏览器使用代理,本软件也配置好代理等环境信息。

 

注意

  • 使用谷歌浏览器采集,请勿开启多线程采集商品详细信息,否则会导致异常
  • 开启上面任意一个使用chrome浏览器的功能时,本软件都会打开一个chrome浏览器窗口,请勿操作或关闭此窗口,否则会导致采集过程中异常、断线、程序未响应。
  • 该功能目前为测试版,建议您非必要情况,使用默认方式进行采集。(此功能主要用来解决用户IE浏览器配置邮编失败而提供的备选方案,也是采集的备选方案)
  • 开启使用谷歌浏览器采集时,系统采集数据将调用chrome浏览器内部接口进行采集,过程中请千万不要关闭正在运行采集的窗口和标签页,避免采集中断或未响应。(虽然本软件已做应对机制,但仍然请您不要进行任何操作)
  • 使用谷歌浏览器采集时,以下功能将不会被生效:
    1.HTTP代理切换:如需使用代理,请直接让chrome使用代理IP访问即可。
    2.模拟环境
    3.暂不支持无图模式采集
    4.暂时不支持多线程
  • 提供chrome浏览器采集仅供测试方便您整理电商数据,严禁用于大批量数据采集等行为,造成任何影响后果自负。