【进阶】将采集的数据保存到数据库 方便整合数据

热度 4,270 | 2017-06-12 11:38:43

By | 2017年6月12日

导出数据功能(限采集器20177787以上版本),能够让用户将采集的数据上传到指定的数据库服务器中,方便您进行数据整合、以及对接其他工具使用。目前仅支持MYSQL数据库的导入,未来还将支持更多(ODBC)。本功能目前用作过度,未来将推出更全的数据库导出以及数据信息管理工具,方便您对数据的处理。

 

数据保存和导入介绍视频:

 

 

保存数据到数据库(MYSQL)介绍:

1.采集好数据,接下去我们需要将数据保存到MYSQL数据库中,可以点击,菜单栏中的,保存到数据按钮。如下图

2.进入到保存到数据库操作界面。

目前仅支持MYSQL数据库,有关如何搭建MYSQL服务器,可查看网络上相关教程(我们售后不包含MYSQL数据库搭建,请您自行配置,配置好MYSQL后即可上传采集的数据到您的数据库)。

填写方法为:

MYSQL地址:填写MYSQL服务器所在地址,如果您MYSQL服务器设置在本地,则填写localhost或127.0.0.1即可

端口号:一般默认3306即可,除非您修改了MYSQL服务器的端口

MYSQL用户名:为连接该MYSQL数据库服务器的用户名

MYSQL密码:为连接到该MYSQL数据库服务器的密码

MYSQL库名称:为连接到该MYSQL数据库中的指定库,如果您没有建立,填写空文本即可

导出表名:为将数据写到的指定表格的表名,如果填写的表名称在数据库中不存在,软件将自动建立。

采集字段设置(如果您不清楚默认即可,本项适合高级用户操作):

采集字段设置,是设置将采集器表格中的数据对应到数据库中字段的功能,简单说,就是设置什么字段,保存到数据库中的什么字段。

您可以点击列,修改对应数据库中的映射名称、数据类型和数据大小(长度)

例如,点击价格,映射到数据库为price,数据类型为浮点型,数据长度为10.如下图:

按以上方法设置后,采集器将数据上传到数据库时,会检查MYSQL数据库中表格里是否存在price字段,若不存在则建立price字段,用于保存数据

数据类型说明:文本型为支持纯文本的类型,可用于标题 长短描述等情况。整数型不包含小数位数的类型,可用于offer数量等使用,浮点型适合价格,带有小数位数。

数据长度说明:为数据字段限制保存的长度,文本类型则为文本长度,整数型和浮点型则为数位长度,建议合理设置,不要盲目设置过大,合理设置数据库结构。

如果您需要自己设置数据库结构等,请使用MYSQL管理工具(例如SQL-front)自行设置数据库结构,填写到本软件中即可。若数据库中字段已存在,软件不会修改相关字段信息(类型、长度等)

3.填写好保存到数据库的相关信息后,接下来就可以导出数据到MYSQL数据库中了。

点击导出数据,本软件首先连接到该MYSQL数据库,然后检查库、表格、字段是否存在,若不存在,软件会自动建立,若存在相关字段,软件不会修改已存在的字段信息。

导出数据到MYSQL会比较慢,请耐心等待。

您也可以过滤掉数据库中已存在的数据,从而去重复,可勾选 数据库中已存在ASIN/ISBN则跳过不导出 功能。

开启后,软件会跳过服务器中已存在的ASIN码或ISBN商品。

4.导出后的数据,可使用SQL-FRONT等工具或者您自己编写工具、其他软件查看这些导出的数据。

 

有关MYSQL数据库服务端要求说明

导出时或进行导出测试时,请查看【失败记录】中有详细说明,按说明解决问题。本软件导出功能发布前已测试稳定,若出现错误请先检查您的服务端是否配置正常可用。

我们开发环境使用MYSQL5.2服务端进行测试可用,其他版本理论上都可以使用.若您其他版本的MYSQL导入时提示错误,请你将错误提示反馈给我们进行修复。

数据库编码建议使用ANSI或UTF-8均可。

文本类型为varchar  整数类型为integer 浮点类型为float

其他MYSQL服务端配置没有要求,您自行按需求设置即可。

 

 

导出过程中请不要关闭软件或停止服务器运行等,否则会导致导出失败,需要重新导出甚至数据丢失。

发表回复