正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本节主要提供数据集成任务Mapping信息的配置说明。Mapping信息用于告诉ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。 配置Mapping信息 在创建任务页面中配置Mapping信息,有自动配置和手动配置两种方式。 源端
发生异常时对监控部分流程的最大重试次数。 重试间隔(秒) 发生异常时对监控部分流程的重试间隔,单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test,将对mysql操作重试一次(间隔两秒),之后终止,不再执行后续流程;若出现运
通过QQ邮箱发送和接收邮件,通过邮件附件共享文件,进行日程安排和备忘录管理,还可以设置邮件过滤和垃圾邮件过滤等安全保护措施。 前提条件 已获取QQ邮箱授权码,具体操作请参考配置QQ邮箱授权码。 创建QQ邮箱连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。
更新数据。 如果是采集多个文件,目标端数据库有主键且主键相同的情况下,每次都会更新成时间最早的文件里的值,即数据内容没有变化。因为从OBS获取多个文件默认按照时间降序排序,先解析最晚上传的文件,所以最早上传的文件最后解析,这样就会导致任务执行结束后,数据库中的值还是最早上传的文件中的值。
连接名称 填写连接器实例名称。 主机IP地址 填写IBM MQ主机的IP地址。 端口 填写IBM MQ主机的端口。 队列管理器 提供队列服务和API及用于管理队列的管理功能的系统管理程序。 字符集标识 对消息中的字符串进行编码时要使用的字符集。 通道名称 通道是MQ系统中队列管理器之间传递消息的管道。
连接名称 填写连接器实例名称。 主机IP地址 填写IBM MQ主机的IP地址。 端口 填写IBM MQ主机的端口。 队列管理器 提供队列服务和API及用于管理队列的管理功能的系统管理程序。 字符集标识 对消息中的字符串进行编码时要使用的字符集。 通道名称 通道是MQ系统中队列管理器之间传递消息的管道。
增量获取时间戳字段 增量数据获取的时间戳字段。 增量获取时间戳初始值 增量数据获取的时间戳初始值。 重置增量获取时间初始值 选择是否开启重置增量获取时间初始值。 增量获取时间补偿(毫秒) 增量获取补偿增量迁移初始时间戳。 表6 删除记录 参数 说明 表名 选择或者填写数据库中要删除数据的表名。
增量获取时间戳字段 增量数据获取的时间戳字段。 增量获取时间戳初始值 增量数据获取的时间戳初始值。 重置增量获取时间初始值 选择是否开启重置增量获取时间初始值。 增量获取时间补偿(毫秒) 增量获取补偿增量迁移初始时间戳。 表3 添加记录 参数 说明 表名 选择或者填写数据库中要插入数据的表名。
增量数据获取的时间戳字段。 增量获取时间戳初始值 增量数据获取的时间戳初始值。 重置增量获取时间初始值 选择是否开启重置增量获取时间初始值。 增量获取时间补偿(毫秒) 增量获取补偿增量迁移初始时间戳。 表3 添加记录 参数 说明 表名 填写要插入数据的数据表名。 插入数据 填写插入操作中目标字段的值。
增量获取时间戳字段 增量数据获取的时间戳字段。 增量获取时间戳初始值 增量数据获取的时间戳初始值。 重置增量获取时间初始值 选择是否开启重置增量获取时间初始值。 增量获取时间补偿(毫秒) 增量获取补偿增量迁移初始时间戳。 表5 删除记录 参数 说明 表名 选择或者填写数据库中要删除数据的表名。
redentials.csv。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 下载对象 删除对象 获取桶列表 创建桶 删除桶 获取桶元数据 获取桶内对象列表 批量删除指定桶的对象 上传对象 配置参数 表1 所有动作参数集合 参数 说明 包含此参数的动作 连接方式
在左侧的导航栏选择“设备集成 LINK > 设备管理”。 获取设备的连接信息。 MQTT/MQTTS连接地址:在设备管理页面上方获取设备的接入地址,如果使用MQTT接入,则获取“MQTT连接地址”;如果使用MQTTS接入,则获取“MQTTS连接地址”,并下载SSL证书。 客户端ID/
Kafka的机机类型用户名。 上传配置文件 单击“上传文件”,上传MRS Kafka配置文件。配置文件获取请参考获取MRS Kafka配置文件。 获取MRS Kafka配置文件 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件,在MRS Manag
填写Kafka的Brokers地址。 认证方式 选择Kafka的认证方式。 SSL认证 无认证 SASL鉴权方式 仅当“认证方式”选择“SSL认证”时需要配置。 选择SASL鉴权方式。 PLAIN SCRAM-SHA-512 SSL用户名 仅当“认证方式”选择“SSL认证”时需要配置。
HBase的机机类型用户名。 上传配置文件 单击“上传文件”,上传MRS HBase配置文件。配置文件获取请参考获取MRS HBase配置文件。 获取MRS HBase配置文件 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件,在MRS Manag
连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动binlog。 配置参数 表1 获取数据库变更 参数 说明 表名 填写或者选择要获取数据变更的数据表名。 数据库操作 选择数据库变更的操作。 父主题: 触发器
连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动CDC配置。 配置参数 表1 获取数据库变更 参数 说明 表名 填写或者选择要获取数据变更的数据表名。 数据库操作 选择数据库变更的操作。 父主题: 触发器
普通任务支持的集成模式(源端) 普通任务支持的集成模式(目标端) 组合任务支持的集成模式(源端) 组合任务支持的集成模式(目标端) 接入API数据源 定时 定时,实时 - - 接入ActiveMQ数据源 实时 定时,实时 - - 接入ArtemisMQ数据源 实时 定时,实时 -
修改实例配置参数,仅资产迁移场景需要,否则跳过此步。 在“实例信息”页面的“配置参数”页签下,根据准备工作中获取的源实例配置参数信息,修改配置参数。 添加数据字典配置。 在“实例信息”页面的“数据字典”页签下,根据准备工作中获取的源实例数据字典信息,添加数据字典配置。 具体创建字典的操作请参见创建数据字典。
填写Kafka的Brokers地址。 认证方式 选择Kafka的认证方式。 SSL认证 无认证 SASL鉴权方式 仅当“认证方式”选择“SSL认证”时需要配置。 选择SASL鉴权方式。 PLAIN SCRAM-SHA-512 SSL用户名 仅当“认证方式”选择“SSL认证”时需要配置。