检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改实例配置参数,仅资产迁移场景需要,否则跳过此步。 在“实例信息”页面的“配置参数”页签下,根据准备工作中获取的源实例配置参数信息,修改配置参数。 添加数据字典配置。 在“实例信息”页面的“数据字典”页签下,根据准备工作中获取的源实例数据字典信息,添加数据字典配置。 具体创建字典的操作请参见创建数据字典。 父主题:
在左侧导航栏选择“资产目录”,在右测搜索框搜索“定时同步”,选择“定时同步MySql中的数据到Oracle”模板,单击“使用模板”。 本实践中MySQL数据源表中的字段与Oracle中数据目标表中的字段类型保持一致。 将MySQL数据表中的aa、bb字段同步到Oracle数据表中的TEST_INT
面。 配置采集任务信息,见下表。 表1 采集任务配置 参数 配置说明 名称 用户自定义任务名称。 描述 对该任务的描述内容。 数据源 选择对应的数据源。 适配器 选择对应的适配器。 开始执行时间 选择采集任务开始执行的时间。 周期类型 选择任务执行的周期类型,与执行周期配合使用。
前提条件 ROMA Connect已接入源端和目标端数据源,具体请参考接入数据源。 ROMA Connect具备向目标端数据源写入数据的权限。 若需要配置同步异常的数据存储,需要完成OBS数据源的接入配置,具体请参见接入OBS数据源。 配置基本信息 登录ROMA Connect控制台
同步数据库和缓存数据 概述 当模型采集中采集任务执行失败时,采集日志显示数据库和缓存不一致时,可以从数据源和任务的维度,执行同步任务,使数据库和缓存保持一致,解决采集任务异常。 前提条件 已完成采集技术模型和录入业务模型。 操作步骤 登录ROMA Connect,在“实例”页面单
您可单击弹窗左上方的“”,修改集成应用的名称。 在左侧的“数据源”中,选择类型并单击“”展开,再选择数据源组件拖拽至集成应用中,作为源端节点。 单击源端数据源节点进行配置,选择对应数据源。 如果无可用数据源,可单击“添加数据源”进行添加,具体请参考数据源管理。 添加目标端节点。 在左侧的“基础组件”中拖拽“集成应用”至编排区域。
Unix时间戳。(Unix时间戳:格林威治时间1970年01月01日00时00分00秒起至请求调用时间的总秒数) 是否使用缓存 指定查询类接口是否使用缓存,默认值为“是”。 是 否 问卷状态 选择问卷状态。 发布或运行 暂停 删除 表2 获取问卷列表 参数 说明 Unix时间戳
已下载的AK/SK文件,文件名一般为credentials.csv。 支持的动作 获取项目下流水线执行状况 获取流水线状态 获取流水线列表接口 删除流水线 批量获取流水线状态 停止流水线 启动流水线 检查流水线创建状态 查询模板详情 查询模板列表 配置参数 表1 获取项目下流水线执行状况
"partion_col":{ "origin_col": "源表分区字段名", "target_col": "目标分区字段名" }, "col_seq":{ "index_0":"源表字段1", "index_1":"源表字段2", "index_2":"源表字段3" } } MRS Hive也不是必须要分区。
本章节介绍任务执行完成后,如何配置消息发送,如果不需要发送消息可不配置。 前提条件 已经在对应的应用下创建Kafka和MRS Kafka数据源,数据源创建参考接入Kafka数据源和接入MRS Kafka数据源。 已创建消息集成Topic并授发布和订阅权限。创建Topic和授权参考消息集成指导章节。 配置任务完成后执行
事件网格触发器用于快速创建以华为云服务或自定义应用为事件源、组合应用流任务为事件目标的事件订阅,以便于在工作流中配置处理事件网格感知到的订阅事件。 支持的动作 华为云事件源 自定义事件源 配置参数 表1 华为云事件源 参数 说明 事件订阅名称 在事件网格创建的事件订阅名称。 区域
端的一个数据表中。 前提条件 已完成源端数据源和目标端数据源的接入,具体操作请参考接入数据源。 在源端数据源接入配置中,“数据库名”的大小写应与实际数据库名保持一致,否则会导致数据同步失败。 源端数据源已开启CDC功能,根据不同的数据源类型和CDC实现模式,具体操作请参考: 配置Oracle
集群实例创建完成后,在左侧的导航栏选择“应用业务模型ABM > 模型采集 > 数据源”,单击“新增数据源”, 选择数据源类型为“自定义数据”,扩展ABM集群选择之前创建的集群实例,第三方采集器选择注册节点C的扩展采集器,填写数据源基本信息,新增自定义数据源。 自定义数据源创建完成后,在左侧的导航栏选择“应用业务模型ABM
载的AK/SK文件,文件名一般为credentials.csv。 支持的动作 查询指定代码仓库最近一次成功的构建历史 获取构建历史详情信息接口 执行构建任务 根据开始时间和结束时间查看构建任务的构建成功率 查看任务运行状态 查看项目下用户的构建任务列表 KeyStore文件下载
提供数据访问管控、开放共享等能力,使用ROMA Connect进行模型集成,有如下优势: 支持模型采集 系统预置常用数据源的采集适配器,针对数据采集提供了数据源管理、采集任务管理功能,实现自动模型采集。 支持模型管理 遵循MOF规范提供业务/技术元模型管理,支持对采集的模型进行搜
根据实际业务需求,合理增加消费者个数(消费并发度),建议消费者数量和分区数保持一致。 提高消费者的消费速度,通过优化消费者处理逻辑(减少复杂计算、第三方接口调用和读库操作),减少消费时间。 增加消费者每次拉取消息的数量:拉取数据/处理时间 >= 生产速度。 生产者端 生产消息时,给消息Key加随机后缀,使消息均衡分布到不同分区上。
cpu规格。arm架构支持4U8G,x86架构支持1U1G、2U4G、2U8G,与技术栈配置的规格对应,可通过技术栈管理ListStacks接口获取。如果标签不为空,以标签配置的技术栈规格为准。 quantum技术栈,x86架构cpu规格为2U8G;其他技术栈,x86架构cpu规格为1U1G、2U4G。
标端,后续若检测到新增数据,则将其集成到目标端。 若两个数据集成任务分别使用了不同版本的MRS数据源(包含MRS Hive、MRS HDFS和MRS HBase),且该MRS数据源均开启了Kerberos认证,则这两个数据集成任务不能同时运行,否则会导致集成任务运行失败。 任务列
data = "The msg is " + i; // 注意填写您创建的Topic名称。另外,生产消息的API有多个,具体参见Kafka官网或者下文的生产消息代码。 producer.produce("topicName"
在左侧的导航栏选择“应用业务模型ABM > 模型采集 > 采集任务”。 在任务列表中找到需要启动的任务,单击“操作”栏中的“编辑”修改采集任务。其中,数据源和适配器不支持修改。 查看采集任务日志 登录ROMA Connect,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM