检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FDI任务失败,修改问题后任务写入仍然报错 原因分析 Writer端写入数据时,先从Kafka通道的topic中消费数据,成功入库后才将消费偏移量提交给Kafka。如果写入数据时发生异常,将不会提交消费偏移量,等待修复问题后,重启任务,可以重新消费并处理未成功入库的数据。所以即使
建议由数据库管理员进行CDC功能的配置操作,以下配置以windows环境为例进行说明。 开启CDC。 使用SSMS客户端连接到SQL Server数据库所在服务器,以sa用户登录数据库。 其中,密码为数据库用户sa的密码,可向数据库管理员获取。 单击“新建查询”,选择你需要开启CDC的数据库。执行以下命令,开启SQL
插入数据违反非空约束 原因分析 任务执行异常失败,查看日志有如下信息: 解决方案 可参考以下内容进行问题排查解决: 源表中此字段可为null,但创建目标表时设置此字段为非null属性,需修改字段属性保持一致。 用户配置任务时多了一个表映射,将一个相似名称的源表配置采集数据到此目标
脚本处理 “脚本处理”组件用于处理数据。用户可使用指定的编程语言编写脚本,对传入“脚本处理”组件的数据进行处理,生成新的数据供后续步骤使用。 配置参数 参数 说明 语言 选择编写脚本使用的编程语言,当前只支持ES5版本的JavaScript语言。 内容 编写脚本内容。 可通过变量
同步数据库和缓存数据 概述 当模型采集中采集任务执行失败时,采集日志显示数据库和缓存不一致时,可以从数据源和任务的维度,执行同步任务,使数据库和缓存保持一致,解决采集任务异常。 前提条件 已完成采集技术模型和录入业务模型。 操作步骤 登录ROMA Connect,在“实例”页面单
也可以使用不同的VPC和子网,请根据实际需要进行配置。在创建VPC和子网时应注意如下要求: 创建的VPC与使用的ROMA Connect服务应在相同的区域。 创建VPC和子网时,如无特殊需求,配置参数使用默认配置即可。 创建VPC和子网的操作指导请参考创建虚拟私有云和子网,若需
分支判断 “分支判断”处理器用于创建条件分支,以决定后续节点的执行逻辑。用户需要在“分支判断”节点与其后续相邻节点的连线上配置各分支的条件。 约束与限制 一个“分支判断”节点中,如果存在多个相同的“满足当前条件时”类型的表达式,最终将执行最先创建的分支上的步骤。 一个“分支判断”
续费概述 续费简介 包年/包月实例到期后会影响实例正常运行。如果您想继续使用,需要在指定的时间内为实例续费,否则实例会删除,数据丢失且不可恢复。 续费操作仅适用于包年/包月的实例,按需计费的实例不需要续费,只需要保证账户余额充足即可。 实例在到期前续费成功,所有实例资源得以保留,
sys/password@host:port AS SYSDBA; 其中: password为数据库sys用户的密码,可向数据库管理员获取。 host为数据库实例所在服务器的IP地址,请根据实际情况设置。 port为数据库实例所使用的端口,请根据实际情况设置。 执行以下命令,检查日志归档是否已开启。 archive
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符: alter table 表名set serdeproperties('field.delim'='分隔符') 父主题: 数据集成任务
录入资产目录 概述 在模型目录中的业务模型管理页面是由对应的信息架构自动生成,可以进行业务模型的录入。数据资产信息架构来源于信息架构中的业务架构,它可以显示每个已发布业务架构的具体信息,可对业务架构每一层对应类型的业务模型进行创建,编辑,下架,删除等操作。在完成业务模型的录入后,
也可以使用不同的VPC和子网,请根据实际需要进行配置。在创建VPC和子网时应注意如下要求: 创建的VPC与使用的ROMA Connect服务应在相同的区域。 创建VPC和子网时,如无特殊需求,配置参数使用默认配置即可(RCU实例暂不支持IPV6,创建子网不可勾选IPv6设置)。
变量 说明 step_execution_time 上一个节点的执行耗时,单位毫秒。 response_code 上一个HTTP请求节点的响应码。 selected_row_count 上一个数据库节点执行查询操作的数据条数。 仅支持MySQL,Gauss200,PostgreSQL,Oracle,SQL
Search数据设置索引生命周期策略。 创建生命周期策略 登录Kibana可视化界面。 访问地址:IP:Port 其中,IP为ELK所部署服务器的IP;Port为Kibana端口号,默认为5601,也可以在修改ELK配置时自定义端口号。如果网络中部署了防火墙,需提前配置防火墙的端口访问权限。
LogMiner:表示使用Oracle数据库LogMiner模式的CDC功能。 出站服务器 仅当“CDC模式”选择“XStream”时需要配置。 填写的出站服务器名称,需要与在配置Oracle CDC(XStream)中设置的出站服务器一致。 数据库模式 仅当“CDC模式”选择“LogMiner”时需要配置。
接入OBS数据源 概述 ROMA Connect支持把OBS(对象存储服务)作为一个数据源,并用于数据集成任务。在使用OBS数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 操作步骤
Kafka数据源连接失败 原因分析 连接地址填写的是MQS内网地址,且MQS同时开启了SSL与VPC内网明文访问时,“是否SSL”选择了“是”。 解决方案 修改“是否SSL”为“否”。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。 父主题: 数据源
接入DWS数据源 概述 ROMA Connect支持把DWS(数据仓库服务)作为一个数据源,并用于数据集成任务或用于创建数据API。在使用DWS数据源前,您需要先接入数据源。 请使用PostgreSQL数据源类型来对接DWS数据库(DWS数据源类型不推荐使用,但因历史原因,暂不下线)。
仅当“数据源方向”选择“源端”时需要配置。 选择是否开启白名单,允许同步数据到白名单中的源端HL7服务器。 白名单 仅当“数据源方向”选择“源端”且“是否开启白名单”选择“是”时需要配置。 填写允许同步数据到源端HL7的服务器地址。 连接地址 仅当“数据源方向”选择“目标端”时需要配置。 填写HL7的访问IP地址和端口号。
建议由数据库管理员进行CDC功能的配置操作,以下配置以Linux环境为例进行说明。 开启Binlog。 使用命令行工具连接到MySQL数据库所在服务器,执行以下命令以root用户登录数据库。 mysql -uroot -ppassword 其中,password为数据库root用户的密码,可向数据库管理员获取。