问题
有些平台采集时会遇到重复问题，或您有过滤重复商品的需求请按照本教程设置过滤重复。
过滤重复依据 “商品编码” 字段来过滤去重
解决
有2种方式过滤重复：
按任务过滤重复
如下图，当您添加采集任务时，勾上按任务过滤重复时，将确保此任务不会有重复商品。
重复数据库按照任务分配，所以只有此次采集任务链接可过滤重复
全局过滤重复
设置全局去重后，不管您采集什么任务，只要某个商品之前采集过就会过滤不采集，和上面的 【任务去重】不同的是不会限定于某个任务。
如下图，勾上此设置即可开启过滤
设置介绍：
过滤重复商品：打开后，将自动过滤掉已采集过的商品。
根据已采集数据过滤重复：
开启时：建议开此项可满足大部分情况。采集时会从已采集的商品库中搜索是否已存在，不存在才会保留，否则就会过滤掉。如果您清空了商品库内的数据，则不会再过滤之前的商品。
关闭时：系统会单独记录已采集过的商品，这个数据和“商品库”分开的，不限制记录数量，会永久保存，除非重置数据库或删除软件数据，采集时会从此数据库判断是否采集过，存在就过滤掉不采集，确保您永久不会遇到重复商品。关闭后，功能目前缺陷提醒：没由于是根据历史记录过滤的，采集列表页再采集详情会导致商品被过滤，比如采集店铺，先翻页采集所有商品，这些商品都会被记录到重复数据库，此时再采集这些商品详情由于之前已经记录了，所以会全部被删除过滤，因此请根据您的实际情况设置。
重置历史记录：点击后，会清空所有已采集商品的历史记录，下次采集就会重置。
问题：为什么我采集的都过滤了？
- 点【日志】查看过滤原因
- 先确保你是否重复采集了某个商品，此类情况正常都会过滤。之前采集过也会过滤掉
- 检查是不是重复采集某店铺、某连接
- 检查是不是重复添加了商品进行采集
- 就如尚文所述，没有打开【 根据已采集数据过滤重复 】时，会根据历史记录过滤，采集列表页时记录一次，再采集详情会全部过滤，针对此情况请开【 根据已采集数据过滤重复 】功能解决。