配置数据来源

 

配置 SQLServer 数据来源

更新时间 2023-09-06

本文为您介绍 SQLServer 作为数据来源时,需要配置的参数及配置示例。

前提条件

开始配置 SQLServer 数据源前,请先添加数据源,详细操作请参见新增 SQLServer 数据源。

类型转换列表

分类 支持的 SQLServer 数据类型
整数类 INT、SMALLINT、TINYINT、BIGINT、INT IDENTITY
浮点类 REAL、FLOAT、DECIMAL、NUMERIC、MONEY、SMALLMONEY
字符串类 CHAR、VARCHAR、VARCHAR(MAX)、TEXT、XML、NCHAR、NVARCHAR、NVARCHAR(MAX)、NTEXT
日期时间类 TIME、DATE、DATETIME、DATETIME2、SMALLDATETIME、DATETIMEOFFSET、TIMESTAMP
二进制类 BIT、BINARY、VARBINARY、UNIQUEIDENTIFIER、IMAGE

参数说明

参数 类型 是否必填 描述
table string 是 选择需要同步的表名称。一个数据集成作业只能同步数据到一个目标表。
说明
如果配置的表不存在,会导致作业运行失败。
where string 否 where 过滤语句。
说明
需填写 SQL 合法 where 子句。不需要填写 where 关键字。
splitPk string 否 如果指定 splitPk,表示您希望使用 splitPk 代表的字段进行数据分片,数据同步会启动并发任务进行数据同步,提高数据同步的效能。
注意
推荐使用表主键进行切分,仅支持整型数据切分。
如果通道设置中 channel 大于 1,必须配置此参数。
column list 是 配置所选表中需要同步的列名。
说明
如果读取的列不存在,会导致作业运行失败。

向导模式开发介绍

打开已创建的离线-批量同步作业,即可进行同步任务的配置。详细操作请参见创建离线-批量同步作业(向导模式)。

您需要在作业的开发页面进行以下配置:

配置 SQLServer 数据来源
参数 说明
数据源 选择已添加的数据源。
数据源表 即上述参数说明中的 table。
过滤条件 即上述参数说明中的 where。仅全量同步时需要配置该参数。
条件参数配置 配置需要同步数据的过滤条件。仅增量同步时需要配置该参数。
切分键 即上述参数说明中的 splitPk。建议使用主键作为切分键,仅支持类型为整型的字段。
读取数据时,根据配置的字段进行数据分片,实现并发读取,可以提升数据同步效率。
说明 切分键与数据同步中的选择来源有关,配置数据来源时才显示切分键配置项。

条件参数配置

仅离线增量同步需要进行条件参数配置。

配置 SQLServer 数据来源-增量

可视化方式

参数 说明
列名 选择需要过滤的列名。
开始条件 配置过滤的开始条件。
结束条件 配置过滤的结束条件。
生成条件参数 根据上述配置信息自动生成条件参数表达式。
可视化方式

表达式方式

条件参数配置默认使用可视化方式,您可以根据使用习惯切换为表达式方式。

表达式方式
这篇文档解决了您的问题吗?
0
0