检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“MQS”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。
数据集成组合任务 源数据库重启等操作对组合任务是否有影响? 如何修复意外重启等原因导致的XStream模式Oracle CDC功能异常? 父主题: 数据集成
查看数据集成任务 概述 数据集成任务创建后,您可以查看任务的相关信息,包括任务的配置信息、运行日志、操作日志和调度日志等。 您也可以修改任务的配置,修改任务的操作跟创建任务类似,具体配置说明可参见创建数据集成任务。 请谨慎修改您的任务配置信息,避免目标端出现脏数据或者数据集成不完
如何修复意外重启等原因导致的XStream模式Oracle CDC功能异常? 因Oracle数据库意外重启等原因导致CDC功能异常时,可以在Oracle数据库中执行以下命令来排查和修复。 以sys用户连接到Oracle数据库,然后执行以下命令: SELECT CAPTURE_NAME
数据集成任务管理 查看数据集成任务 导入导出数据集成任务 附录:QuartZ Cron表达式配置说明 父主题: 数据集成指导
录入基础数据 概述 数据资产信息架构中的基础数据目录,每个命名空间存放的是基础对象,即数据资产信息架构中每个业务模型都可以依赖的公共业务模型。若模型架构某些类型和基础对象之间有构建依赖关系,则资产目录中对应类型的数据实例可以通过编辑高级属性的方式来依赖到具体的基础对象实例。 前提条件
的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“MRS Kafka”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。
创建并开放数据API 接入数据源 创建数据API 绑定域名 配置API授权(可选) 父主题: 服务集成指导(旧版界面)
接入OBS数据源 概述 ROMA Connect支持把OBS(对象存储服务)作为一个数据源,并用于数据集成任务。在使用OBS数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 操作步骤
照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 域名 填写COMPOSE服务的域名地址。
则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 域名 填写IOT数据分析云服务的域名地址。
照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 是否使用JDBC字符串
数据筛选 “数据筛选”组件对传入该组件的数据按照指定的表达式进行筛选,并将筛选出的结果通过节点变量传递给后续节点。通常“数据筛选”组件会作为“数据拆分”组件的后续步骤以配合使用。 配置参数 参数 说明 表达式 数据筛选的表达式。 使用表达式对数据进行筛选,并传递给后续节点。例如数
数据拆分 “数据拆分”组件将传入该节点的数据按照指定的表达式进行拆分,并将拆分的结果通过节点变量传递给后续节点。通常“数据拆分”组件后续会连接“数据筛选”组件以配合使用。 “数据拆分”为异步处理组件,如果一个任务中存在“数据拆分”节点,最终开放的API将返回传入“数据拆分”节点时的数据。
求参见下表。 表1 虚拟机资源 实例规格 虚拟机数量(台) VIP CPU 内存(G) 磁盘io(读+写)(MB/s) 系统盘(G) 数据盘(G) 日志盘(G) 系统架构 Glibc版本 网络带宽性能 IEF边缘节点(个) 基础版 3 1 >=16 >=64 >=350 >=100
是否对转发的设备数据进行base64编码,此处不开启。 包含设备信息 转发的设备数据是否包含设备信息,为方便后续识别转发数据所属的设备,此处开启。 在“数据目的端”下单击“创建数据目的端”,设置数据目的端相关配置,然后单击“保存”,完成数据转发规则的配置。 表4 数据目的端配置 参数 配置说明
数据转换 “数据转换”连接器用于数据流的格式转换,当前支持XML转JSON和JSON转XML。 配置参数 参数 说明 转换模式 选择数据转换的模式,可选择“XML转JSON”和“JSON转XML”。 内容 通过脚本编写需要转换的数据。 可通过变量的方式引用前序步骤中的数据,请参考引用变量。
配置异常数据存储 在配置异常数据存储前,您需要提前完成OBS数据源的接入配置,具体请参见接入OBS数据源。 在创建任务页面中配置异常数据存储信息。 表1 异常数据存储信息 参数 配置说明 集成应用 选择OBS数据源所属的集成应用。 源端数据类型 当前仅支持选择“OBS”。 数据源名称
则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 连接地址 填写数据库的连接IP地址。
选择集成最早获取的消息数据还是最新获取的消息数据。 元数据 指从源端获取到的JSON或XML格式数据中,要集成到目标端的每一个底层key-value型数据元素。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 解析路径:由于数据根字段不设置,此处填写元数据的完整路径。