配置数据目的

 

配置 PostgreSQL 数据目的

更新时间 2023-09-06

本文为您介绍 PostgreSQL 作为数据目的时,需要配置的参数及配置示例。

前提条件

开始配置 PostgreSQL 数据源前,请先添加数据源,详细操作请参见新增 PostgreSQL 数据源。

类型转换列表

分类 支持的 PostgreSQL 数据类型
整数类 SMALLINT、INT2、INT、INTEGER、INT4、BIGINT、INT8、SMALLSERIAL、SERIAL、BIGSERIAL、OID
浮点类 REAL、FLOAT4、FLOAT、DOUBLE、PRECISION、FLOAT8、NUMERIC
字符串类 CHARACTER VARYING、VARCHAR、CHARACTER、CHAR、TEXT、NAME、BPCHAR
日期时间类 TIMESTAMP、TIMESTAMPTZ、DATE、TIME、TIMETZ
布尔型 BOOLEAN、BOOL
二进制类 BYTEA

参数说明

参数 类型 是否必填 描述
table string 是 请选择表名。
preSql list 否 请输入写入数据到目的表前执行的一组标准 SQL 语句。
postSql list 否 请输入写入数据到目的表后执行的一组标准 SQL 语句。
writeMode string 是 选择写入模式:默认值为 insert。
  • insert:insert into,当主键/唯一性索引冲突时会写不进去冲突的行,以脏数据的形式体现。
  • update:on duplicate key update,没有遇到主键/唯一性索引冲突时,与insert into 行为一致。冲突时会用新行替换已经指定的字段的语句。
  • replace:replace into:没有遇到主键/唯一性索引冲突时,与insert into行为一致。冲突时会先删除原有行,再插入新行。即新行会替换原有行的所有字段。
  • semantic string 是
  • exacly-once 意味着写入数据确保正好一次,是需要开启两阶段提交后能达到的效果。
  • 默认值是 at-least-once,也就是数据至少写入一次,意味着不开启两阶段提交。
  • batchSize int 是 批量写入的条数,该值可减少网络交互次数,过大会造成 OOM。默认值为 1024。
    column list 是 目标表需要写入数据的列名。

    向导模式开发介绍

    打开已创建的离线-批量同步作业,即可进行同步任务的配置。详细操作请参见创建离线-批量同步作业(向导模式)。

    您需要在作业的开发页面进行以下配置:

    配置 PosrgreSQL 数据目的
    参数 说明
    数据源 选择已添加的数据源。
    数据源表 即上述参数说明中的 table。
    写入模式 即上述参数说明中的 writeMode。
    写入一致性语义 即上述参数说明中的 semantic。
    批量写入条数 即上述参数说明中的 batchSize。
    写入前 SQL 语句组 即上述参数说明中的 preSql。
    写入后 SQL 语句组 即上述参数说明中的 postSql。
    这篇文档解决了您的问题吗?
    0
    0