检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
conf文件时设置。 在数据视图中查看日志数据和日志统计。 在页面右上角设置查询时间范围,然后单击“Refresh”,可查看该时间范围内的日志数据。 在页面左侧的字段列表中选择要查看的日志字段,筛选包含该字段的日志数据。 在页面右侧的“Break down by”处选择日志字段,可查看该字段的聚合统计数据。
批次号字段 选择目标表中类型为String并且字段长度大于14的字段作为批次号字段,且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数,用来标识同一批次的数据,同一批次插入的数据具有相同的批次号,表示这些数据是同一批次插入的,可以用来定位或者解析回滚。
支持的动作 获取记录 添加记录 更新记录 删除记录 配置参数 表1 获取记录 参数 说明 表名 填写要查询数据的数据表名。 字段名 填写要查询数据的字段名,多个字段以英文逗号(,)分隔。 WHERE条件 填写要查询数据的条件。 Order by字段 填写返回结果的排序字段。 Limit条数
仅当“插入SQL”选择不开启时需要配置。 选择MySQL数据源中要获取数据的数据表。选择数据表后,单击“选择表字段”,可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序,则需要选择排序的参照字段,并选择“升序”或“降序”排序。
添加网关子设备响应 主题Topic Topic /v1/devices/{gatewayId}/topo/addResponse 消息发送方 物联网平台 消息接收方 边设备 参数说明 子设备添加成功后会返回响应,其中包含新增的子设备信息,二次开发需自行在本地保存新增的子设备信息,
源表中此字段可为null,但创建目标表时设置此字段为非null属性,需修改字段属性保持一致。 用户配置任务时多了一个表映射,将一个相似名称的源表配置采集数据到此目标表,导致向此字段写入空数据,需确保表映射正确。 Oracle产生的RedoLog中,UPDATE语句的字段中没有WH
其中,baris替换为实际需要开启CDC配置的表名。 CDC创建好之后,系统会创建以下一系列的系统表、视图、存储过程和作业来实现CDC功能。 CDC配置完成后,需要新建一个用户并配置权限给FDI任务使用。 右键单击“安全性”,选择“新建 > 登录名”。 在“常规”栏中填写创建的用户名及密码。
根据数据源类型的不同,数据源的接入配置有所差异。 操作步骤 接入DWS数据源 接入GaussDB数据源 接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源
定时:支持MySQL、Oracle、SQL Server、PostgreSQL、Hana。 实时:支持MySQL、Oracle、SQL Server。 目标端: 定时:支持MySQL、Oracle、PostgreSQL、SQL Server、Hana。 实时:支持MySQL、Oracle、PostgreSQL、SQL
多个数据源编排 一个数据API可以包含多个数据源,因此一次API请求可以涉及多个数据源,例如取第一个数据源查询结果作为第二个数据源的参数。 以MySQL为例说明,假设数据API有数据源1和数据源2,user01是数据源1的数据表和user02是数据源2的数据表,两张表的结构如下: 表1 表结构
存储过程调用 当前数据API不支持直接创建存储过程,但是可以执行MySQL、Oracle、PostgreSQL这三种数据源的存储过程,以Oracle数据库为例说明。 数据源说明 假设数据库里面有一张表,表结构如下建表语句所示: create table sp_test(id number
例如,目标端分区字段为yyyymm,以源端字段createtime作为分区字段来源字段,createtime字段的时间格式为ddMMyyyy(日月年),目标端分区字段格式为yyyyMM(年月),分区字段的值比源端字段的值增加1个小时,则Mapping信息中,分区字段yyyymm的“源端字段名”填写如下:
选择已有的表,单击“选择表字段”,可以选择只需要集成的数据列字段。 主键字段对应的源端字段如果为空,该条记录会默认抛弃,不会产生调度日志错误码。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段,且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为
数据集成组合任务 目标表中配置的RowId字段类型不正确导致写入数据失败 读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误
of MappingInfo objects 字段映射列表。 数组长度:1 - 9999 表4 ext_info 参数 是否必选 参数类型 描述 server_id 否 String MySQL的serverId。数据源为MySQL时,ServerID必填。 最小长度:1 最大长度:20
of MappingInfo objects 字段映射列表。 数组长度:1 - 9999 表4 ext_info 参数 是否必选 参数类型 描述 server_id 否 String MySQL的serverId。数据源为MySQL时,ServerID必填。 最小长度:1 最大长度:20
Hive、MRS HBase和MongoDB的Mapping映射手动输入时,是否区分大小写? Mapping映射时会区分大小写,源端字段、目标端字段都必须和所选择的字段大小写一致。若不一致,MRS Hive和MRS HBase将会运行异常,MongoDB数据库不受影响,运行正常。 父主题:
添加SSL证书 如果API分组中的API支持HTTPS请求协议,则在绑定独立域名后,还需为独立域名添加SSL证书。SSL证书是进行数据传输加密和身份证明的证书,支持单向认证和双向认证两种认证方式。 单向认证:客户端与服务端连接时,客户端需要验证所连接的服务端是否正确。 双向认证:
选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写Kafka的连接地址和端口号。 如果Kafka有多个副本(Broker),可单击“添加地址”填写多个连接地址。 是否SASL_SSL ROMA Connect与Kafka的连接是否使用SASL_SSL认证加密。 用户名/应用Key
选择待集成数据要写入的数据表。选择数据表后,单击“选择表字段”,可以选择只需要写入的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段,且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数,用来标识同一批次的数据,同一