检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启动组合应用 设计画布右上角提示启动成功,完成发布。 图7 启动成功 步骤四:验证结果 进入组合应用的编辑页面中,单击“Open API”,页签下方查看“API信息”。 图8 API信息 由“Open API”配置信息可知,这是一个“无认证”、“Get”接口,通过Postman工具对1中的API信息进行接口测试。
Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“GaussDB(for MySQL)”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息
明见下表。 表1 创建Site实例配置 参数 参数说明 Site实例名称 自定义Site实例名称。 站点类型 自建站点:企业自建边缘节点,使用客户自有机房的虚拟机。 选择“自建站点”类型实例时,参考此操作步骤: 单击“确定”进入“创建站点”界面,站点创建配置说明见下表。 表2 自建站点配置
Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“服务集成 APIC > API策略”,在“策略管理”页签下单击“创建策略”。 在选择策略类型弹窗中选择“传统策略 > 访问控制”。 在配置访问控制弹窗中配置策略信息。 表1 访问控制策略配置 参数 说明
按需资源不会立即停止服务,资源进入宽限期。您需支付按需资源在宽限期内产生的费用,相关费用可在管理控制台“费用中心 > 总览”的“欠费金额”查看,华为云将在您充值时自动扣取欠费金额。 如果您在宽限期内仍未支付欠款,那么就会进入保留期,实例状态变为“已冻结”,您将无法对处于保留期的按需计费资源执行任何操作。
目标端数据类型 选择“DWS”。 数据源名称 选择接入数据源中已配置的DWS数据源。 目标端表 选择待集成数据要写入的数据表。选择数据表后,单击“选择表字段”,可以选择只需要写入的数据表字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段,且该批次号字段不
附录:QuartZ Cron表达式配置说明 参数说明 数据集成任务支持使用QuartZ Cron表达式配置定时任务的调度计划。 QuartZ Cron表达式由6个部分组成,每个部分使用空格隔开。表达式中的六个部分从左到右代表的含义如下: 秒 分 时 日 月 周 具体参数如表1所示。 表1 QuartZ
在创建任务页面中配置任务完成后执行信息。 表1 任务完成后执行 参数 配置说明 执行动作 选择任务完成后是否发送消息。 不发送消息:表示任务完成后不发送消息通知。 发送消息至Kafka:表示任务完成后发送消息至Kafka。 发送消息至MRS Kafka:表示任务完成后发送消息至MRS Kafka。
触发操作。定时器常用于实现定时任务、定时调度等功能。 支持的动作 每分钟触发 每小时触发 每周触发 每月触发 固定时间间隔触发 配置参数 表1 每分钟触发 参数 说明 触发间隔 在每个小时内,从0分钟开始,每隔固定分钟执行一次,范围1-60。 触发规则 每天。 星期一至星期五。 星期六和星期日。
板”。 本实践中MySQL数据源表中的字段与Oracle中数据目标表中的字段类型保持一致。 将MySQL数据表中的aa、bb字段同步到Oracle数据表中的TEST_INTEGER、TEST_VARCHAR字段,需要提前在数据库中创建好对应的数据表和字段。 图1 定时同步MySQL中的数据到Oracle
情况下可能难以达成预期速率。如:数据库中有大量表,仅采集其中部分表,其他表的操作也可能会影响采集速率。 ROMA Connect支持的数据集成组合任务性能参考如下所示。 表3 Oracle到DWS的实时数据集成 测试条件 测试结果 表字段数(列) 插入数据总量(条) 单条数据大小(KB)
务。如果已经超过6小时,通道内的数据已经过期,需要根据实际情况重置同步进度,然后启动任务。如果任务停止前存在没有采集完全量数据的表,将会重新采集对应表的全量数据。 另外需要分析产生只读状态的原因,促使基于数据库进行的业务开发进行调优,或者扩容磁盘空间,防止问题再现。 父主题: 数据集成组合任务
其中: xstream_adm_tbs为XStream管理员用户的表空间名,请根据实际规划设置。 /opt/oracle/oradata/orcl/xstream_adm_tbs.dbf为XStream管理员用户的表空间文件,请根据实际规划设置。 xstrmadmin为XStream管理员用户名,请根据实际规划设置。
queueName表示队列名称。 durable表示是否持久化,true表示持久化,false表示非持久化。 exclusive表示是否排外,true表示排外,即一个队列只能有一个消费者来消费。 autoDelete表示是否自动删除,true表示自动删除。 arguments表示其他属性。
任务。 删除原任务并重建,那么Kafka通道中的topic会被删除,脏数据会被清理掉。 对于组合任务,可以删除此表,启动任务后,等Writer端消耗掉此表的数据,再将表加回来重新采集。 父主题: 数据集成组合任务
该问题是debezium当前版本的一个BUG,需要用户升级MySQL。 对于组合任务,可以尝试通过修改配置的方法规避,首先删除此表的配置,启动任务后会跳过这些数据,等任务执行成功后,再将表配置回来重新采集。 父主题: 数据集成组合任务
在“服务列表”中选择应用与数据集成平台,进入ROMA Connect主界面,单击右上角“购买ROMA Connect实例”,尝试购买ROMA Connect实例,如果无法购买ROMA Connect实例(假设当前权限仅包含ROMA ReadOnlyAccess),表示“ROMA
失败时停止 表示在进行EDI处理的时候,如果发生失败的情况,是否停止整个任务。 输入方式 选择组件的输入方式。 API表单参数:表示通过API表单的方式来提交目标文件信息。 文本输入:表示直接通过文件传输服务器(如:FTP)方式来提交目标文件信息。 API表单参数 仅当“输入
数据源,只支持源端一个数据表到目标端一个数据表的集成同步。 创建数据集成任务(组合任务):组合任务,通过CDC(Change Data Capture,数据变更抓取)实现源端到目标端数据的实时同步及增量同步,支持一个源端多个数据表到一个目标端多个数据表的集成同步。当前支持Oracle、MySQL、SQL
如果需要配置“异常数据存储”,请展开“异常数据存储”模块参照表1进行配置,如果不需要配置,请将“异常数据存储”模块折叠,否则影响任务保存。 配置异常数据存储 在配置异常数据存储前,您需要提前完成OBS数据源的接入配置,具体请参见接入OBS数据源。 在创建任务页面中配置异常数据存储信息。 表1 异常数据存储信息 参数