检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
col01,表示从table01数据表中选取col01和col02这两列的数据,筛选列col02中值为A、B或C的数据行,并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择DB2数据源中要获取数据的数据表。选择数据表后,单击“选择表字段”,可以
in this operation”错误 Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误 源端Mysql增量采集每小时执行一次时部分数据丢失 API到MySQL时源端报“401 unauthorized”错误
生成相应的字段。 目的端数据格式选择“MySQL”,在选择表名后,目的端数据源页签会自动生成数据库表中的字段。 以下面的组合应用为例,该组合应用的主要功能是调用Open API获取OBS指定桶的对象列表,并将结果中的桶名称和对象名称通过数据映射,映射到MySql指定表中的相关字段
选择接入数据源中已配置的MySQL数据源。 目标端表 选择集成数据要写入MySQL数据库中的数据表。 选择数据表后,单击“选择表字段”,可以选择要写入数据的列字段。 批次号字段 选择目标表中类型为String并且字段长度大于14的字段作为批次号字段,且该批次号字段不能和Mapping信息中的目标字段重复。
Server、Hana。 实时:支持MySQL、Oracle、PostgreSQL、SQL Server、Kafka。 目标端的表必须要有主键,否则会影响数据同步一致性。 Oracle作为源端数据源时,仅支持表名、字段名都是大写的表。 Oracle作为目标端数据源时,不支持小写字段的表。 在编辑已创建
源,例如取第一个数据源查询结果作为第二个数据源的参数。 以MySQL为例说明,假设数据API有数据源1和数据源2,user01是数据源1的数据表和user02是数据源2的数据表,两张表的结构如下: 表1 表结构 数据源 表名 参数 数据源1 user01 id(int) name(varchar)
配置参数 PostgreSQL连接器不支持中文表名,仅支持英文表名。 表1 获取记录 参数 说明 表名 选择或者填写要查询的数据库中的表名。 字段名 选择要查询数据表的字段名。 WHERE条件 配置要查询数据的条件值(注意值要用英文单引号包住)。 Order by字段 填写返回结果的排序字段。
OPENGAUSS:GaussDB数据源 MYSQL:MySQL数据源 ORACLE:Oracle数据源 POSTGRESQL:PostgreSQL数据源 SQLSERVER:SQL Server数据源 TAURUS:GAUSSDB(FOR MYSQL)数据源 DIS:DIS数据源 DWS:DWS数据源
v1、v2、v3 SQL Server 2014、2019、2022 GaussDB(for MySQL) 2.0.15.6 WebSocket 无版本号 自定义数据源 无版本号 数据API支持的数据源 表2 数据API支持的数据源 数据源类型 支持的版本 Gauss100 FusionI
objects 源端字段列表。 数组长度:1 - 9999 target_columns 否 Array of MultiTaskColumnInfo objects 目标端字段列表。 数组长度:1 - 9999 source_table 否 String 源表名。 最小长度:1 最大长度:64
单击要查看日志的组合应用。 在组合应用详情页面,选择“系统日志”页签,可查看该组合应用下流任务的启停记录和部署记录等日志信息。 表1 日志字段说明 字段 说明 时间 日志的上报时间。 日志级别 日志的级别,分为Info、Error和Debug几种级别。 节点ID 节点ID。 运行节点
${{begin}}为固定格式,请勿修改,代表上次任务的执行的时间。 ${{end}}为固定格式,请勿修改,代表本次任务的执行时间。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择DM数据源中要获取数据的数据表。选择数据表后,单击“选择表字段”,可以只选择需要集成的数据列字段,例如:ID。 按字段排序 仅当“插入SQL”选择不开启时需要配置。
数据集成组合任务 目标表中配置的RowId字段类型不正确导致写入数据失败 读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误
objects 源端字段列表。 数组长度:1 - 9999 target_columns 否 Array of MultiTaskColumnInfo objects 目标端字段列表。 数组长度:1 - 9999 source_table 否 String 源表名。 最小长度:1 最大长度:64
其中,baris替换为实际需要开启CDC配置的表名。 执行以下命令查询执行结果,结果为“1”表示成功。 SELECT is_tracked_by_cdc FROM sys.tables WHERE name='baris' 其中,baris替换为实际需要开启CDC配置的表名。 CDC创建好之后,系统
”时。 开始时间字段和结束时间字段取值分别为当前周期的开始时间和结束时间。 获取数据的时间区间为[2020-11-05 22:00:00.0,2020-11-05 23:00:00.0] 周期指定为“当前周期”,周期右边界“闭区间”时。 开始时间字段和结束时间字段取值分别为当前周
面单击要查看运行记录的组合应用。 在组合应用详情页面,选择“运行记录”页签,可查看该组合应用下流任务运行过程的相关记录信息。 表1 运行记录字段说明 字段 说明 开始时间 流任务的开始时间。 结束时间 流任务的结束时间。 运行ID 流任务的运行ID。 运行时间 流任务的运行时间。
填写分页查询的偏移量。 表2 添加记录 参数 说明 表名 填写要插入数据的数据表名。 插入数据 填写插入操作中目标字段的值。 表3 更新记录 参数 说明 表名 填写要更新数据的数据表名。 更新数据 填写更新操作中目标字段的值。 WHERE条件 填写要更新数据的条件。 表4 删除记录 参数
接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG数据源 接入POSTGRESQL数据源 接入SFTP数据源
选择接入数据源中已配置的DWS数据源。 目标端表 选择待集成数据要写入的数据表。选择数据表后,单击“选择表字段”,可以选择只需要写入的数据表字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段,且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数