检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MQ是IBM提供的一个消息队列软件,它可以在分布式系统中进行异步通信,确保数据的可靠传输。MQ是一种基于消息的中间件,它提供了一种可靠、安全的方式来传输消息,可以在不同的应用程序、平台和系统之间进行通信。MQ可以确保消息在传输过程中不会丢失、重复或失序,并且可以在不同的系统之间进行数据转换和格式化。
etime,目标端字段为date,数据可以集成到目标端,但是数据类型不匹配的字段值会为NULL,其他字段正常集成。 父主题: 数据集成普通任务
导入资产 功能介绍 创建导入资产作业任务,资产版本和具体哪些资产从资产内容里读取。 最大支持100个应用和任务。 一个用户同一时刻只能创建一个资产导入作业任务,没有Running状态的作业任务存在。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API E
批量导出资产 功能介绍 批量导出资产。 创建批量导出指定条件的资产的作业任务。 最大支持100个应用和任务。 一个用户同一时刻只能创建一个资产导出作业任务,请确保当前没有Running状态的资产导出作业任务存在。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API
Connect可以使用OBS作为数据集成任务的源端和目标端,也可以在数据集成任务运行过程中,把转换异常的数据存储到OBS中。 分布式缓存服务 分布式缓存服务(Distributed Cache Service,简称DCS)为您提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力,兼容Red
XML校验 “XML校验”处理器用于对XML格式数据处理时,进行内容校验与处理。如校验正确在系统日志中没有错误信息,校验失败系统日志中会打印异常信息,并结束流任务的运行。 配置参数 参数 说明 XML 待校验的xml数据,文本输入大小限制10万字符。 XML Schemas Definition
立和维护应用程序和GaussDB数据库之间的连接,并管理数据的传输。 GaussDB是华为自主创新研发的分布式关系型数据库。该产品具备企业级复杂事务混合负载能力,同时支持分布式事务,同城跨AZ部署,数据0丢失,支持1000+的扩展能力,PB级海量存储。同时拥有云上高可用,高可靠,
修复服务之后FDI支持自动修复任务。 支持任务调度、任务监控、任务中断续读。 可靠的数据传输通道 FDI可以持续监测数据通道中的数据,支持100个以上的线程并发执行。FDI实时监测消息队列把数据实时写入目标队列。 任务调度 FDI提供全面、灵活、高可用的任务调度服务,支持通过API或以
开放业务系统数据 方案概述 配置示例 父主题: 应用示例
里面也配置好IP与Hostname,但是在上传文件时HDFS的Master节点返回的node节点的IP为内网IP,所以连接不通,导致FDI任务执行异常。 解决方案 修改在创建MRS Hive数据源时上传的hdfs-site.xml文件中,在hdfs-site.xml文件中添加dfs
MQ是IBM提供的一个消息队列软件,它可以在分布式系统中进行异步通信,确保数据的可靠传输。MQ是一种基于消息的中间件,它提供了一种可靠、安全的方式来传输消息,可以在不同的应用程序、平台和系统之间进行通信。MQ可以确保消息在传输过程中不会丢失、重复或失序,并且可以在不同的系统之间进行数据转换和格式化。
义变量三种。同名变量的优先级为:系统变量 > 节点变量 > 自定义变量。 系统变量 系统提供了一些内置的变量,表示系统参数或者某些连接器的特定输出。当前组合应用提供的系统变量如表1所示。 系统变量引用方式:${变量名}。 表1 系统变量说明 变量 说明 step_execution_time
实例使用的topic正在删除中,不能启动任务。 等待删除成功后再启动任务。 400 FDI.3557 The task tag is illegal. 任务标签非法。 检查任务标签。 404 FDI.3081 The task does not exist. task_id对应的任务记录不存在。 确认
Kafka Kafka是一个分布式流处理平台,最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台,可以处理大量的实时数据流。Kafka主要由三个部分组成:生产者、消费者和代理服务器。生产者将数据发布到Kafka集群,消费者从Kafka集群订阅数据并进行处理,代理服务器则是
终止 “终止”处理器用于结束组合应用内的流任务。 “终止”处理器一般置于流任务的末端。 “终止”处理器无需配置参数。 父主题: 处理器
填写要接入的数据库名。 数据库地址列表 仅当“连接模式”选择“多地址”时需要配置。 填写分布式数据库系统的连接地址和端口号,单击“添加地址”添加多个地址和端口号。 服务名 仅当“连接模式”选择“多地址”时需要配置。 填写分布式数据库系统的服务名。 连接字符串 仅当“连接模式”选择“专业”时需要配置。
同步数据库和缓存数据 概述 当模型采集中采集任务执行失败时,采集日志显示数据库和缓存不一致时,可以从数据源和任务的维度,执行同步任务,使数据库和缓存保持一致,解决采集任务异常。 前提条件 已完成采集技术模型和录入业务模型。 操作步骤 登录ROMA Connect,在“实例”页面单
在组合应用详情页面,选择“运行记录”页签,可查看该组合应用下流任务运行过程的相关记录信息。 表1 运行记录字段说明 字段 说明 开始时间 流任务的开始时间。 结束时间 流任务的结束时间。 运行ID 流任务的运行ID。 运行时间 流任务的运行时间。 状态 流任务的运行状态。 (可选)配置访问日志,实现异常监控日志的存储。
接入SAP数据源 概述 ROMA Connect支持把SAP系统作为一个数据源,通过RFC的方式与SAP对接,并用于数据集成任务。在使用SAP数据源前,需要先接入数据源。接入的SAP数据源需要为数据集成任务开启SAP相关权限,具体见表1。 表1 SAP权限 对象类文本 授权对象 授权对象文本
查看实例信息 概述 实例创建完成后,可在控制台查看和编辑实例的配置信息,主要包含基本信息、配置参数、数据字典、导入导出资产以及后台任务。 查看后台任务请参考查看后台任务,配置参数请参考修改实例配置参数,数据字典请参考创建数据字典,导入导出资产请参考导入导出资产。 操作步骤 登录新版ROMA