【功能】使用采集缓存功能 提高采集速度相同采集不再重复采集

热度 316 | 2022-03-06 10:14:50

By | 2022年3月6日

20220006及以上版本完善了旧版的采集缓存功能,新版的缓存支持设置过期时间、自动清理。让您灵活控制采集缓存有效时间,并自动清理避免占用过多电脑硬盘空间。新版对缓存进行了优化和压缩,每个缓存占用空间降低60%以上。

本功能限企业版及以上授权使用。

 

开启

可以在【系统设置】下【文件系统】中开启

可以设置过期时间,超过这个时间后,相同商品再次采集就会重新请求一次网络,再缓存,下次再过这个时间才会再请求,可以避免短时间相同商品多次访问,影响采集速度。但是如果需要实时更新商品数据,则不适合使用本功能,请关闭。

 

 

也可以在【快捷开关】里打开,

 

效果

开启后,采集时,相同网址采集一次不会重复采集第二次,第一次采集数据就缓存保存在本地,第二次就不会重复下载了。直接从缓存读取,对于短时间重复采集数据有很大的帮助,能够提高速度也降低屏蔽的概率。设置过期时间,即可让每个缓存到期自动删除,不在读取,保证了时效性。

 

使用场景

  1. 采集一个类目的商品,有一些商品卖家卖家信息会重叠,开启缓存可避免采集卖家信息时多次重复采集影响速度。
  2. 设置缓存过期时间后,短时间商品一般很少发生变化,例如设置过期时间为24小时,则24小时内采集的相同URL直接从本地缓存读取,提高数据多次采集的速度。
  3. 在进行一些采集调试、练习时,开启缓存也可以提高采集速度,避免相同URL重复采集。
  4. 短时间内需要多次获取商品数据的情况,包括reviews、qa问答采集等信息也支持缓存。

 

调试和查看缓存页面

您可以点击每条商品右键,管理采集缓存中,查看每条商品采集时的缓存页面、支持浏览器查看缓存页面来核对采集的数据,也可以删除缓存、复制缓存页的源码。方便给客服帮您解决采集遇到的问题。

注意

如果您设置缓存过期时间为0,则没有过期时间。

开启缓存后,在过期时间内采集数据,第一次从网页获取,后面就不会从网页获取了,直接从本地读取采集数据,因此请您自行注意时效性,商品数据更新了您将仍然按缓存时的数据采集。