什么是多线程采集?
多线程采集详情:同时执行多个ASIN采集任务,本软件默认是一条ASIN采集完再采集下一个,而多线程可以同步采集多个ASIN,开几个线程就同时采集几个ASIN,开启多线程后可大幅提高采集详情的速度。
多线程采集图片:默认是一张图一张图下载,如果设置了多线程,会多个任务一起下载图,大幅提高图片下载速度。
条件
多线程采集需要旗舰版授权,如需升级点击这里
当您没有打开“异步采集”功能时,如果开启了变体采集、评论内容等、各种过滤器、各种子项时,采集时将仍然按1个线程来采集,如需多线程采集变体,点击这里了解。
采集详情使用多线程
如下图,在【系统设置】下【采集速度】中设置线程数量即可,设置后采集详情就会使用多线程。
-
- 我们不限制线程数,推荐5-10个线程采集就行了,多线程存在边际效应,设置太多,会严重占用CPU、网络以及会加大亚马逊屏蔽可能性。
- 多线程采集时,每个线程可能都会弹出一次验证码输入,因此如果遇到采集验证码屏蔽弹窗,您仅需要输入一次验证码,如果短时间内多次弹出验证码输入框,您可以直接点击【继续采集】即可。
- 若设置多线程后遇到卡住、崩溃等问题请减少线程数量。
采集效果
有关采集详细信息,请看这里
如下图,设置了10个线程采集,将有同时10个ASIN被采集,大幅提高了采集速度。
采集详情提高速度最佳实践
如果您是新手,且是旗舰版授权,请按下面方法设置,即可大幅提高采集详情的速度,同时也能支持采集变体、使用过滤器。
- 请您先停止采集。
- 打开【开启异步采集】,设置缓存数量为5-10,(建议根据线程数来设置!)
- 设置 采集详细信息线程数为 3-10,这里设置5个线程,代表会有5个线程同时下载数据。根据您的电脑配置设置此值,不是越高越高,请您根据我们建议来设置,设置过高会加大屏蔽等问题。
按上面设置后,再开始采集详情,可大幅提高速度。
原理解释:设置多线程下载会同时采集5条ASIN的网页数据,并投递到异步采集中处理(异步采集是单线程的,因为要保证变体、过滤器等功能正常使用),采集最慢的步骤就是下载数据,我们设置多线程后会有5个线程同时发起请求,大幅提高了采集速度。
其他多线程采集
了解采集变体详情使用多线程,请点击这里
了解图片下载使用多线程,请点击这里
注意事项
采集多线程时,不支持采集变体、过滤器等功能,这些会增加项目和删除项目,因此不支持多线程,采集时将仍然按1个线程采集。(20240009版本起支持多线程采集变体和用过滤器)- 多线程稳定性有待测试,若您采集不稳定,请按单个线程采集
- 采集多线程会占用大量系统资源,请根据电脑实际情况来设置线程数。
- 采集多线程会提高屏蔽的概率
温馨提示
本软件提供的多线程采集数据的功能不建议设置过高,由于本软件定位为轻量化的数据采集需求,例如简单的铺货数据采集、选品等,因此对于多线程我们没有做太多优化,请勿过度依赖多线程采集,多线程采集还会加大亚马逊采集屏蔽的概率,导致数据采集失败。多线程下载图片比较稳定,建议设置5个线程左右,能提高图片的下载速度。