检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
插入数据违反非空约束 原因分析 任务执行异常失败,查看日志有如下信息: 解决方案 可参考以下内容进行问题排查解决: 源表中此字段可为null,但创建目标表时设置此字段为非null属性,需修改字段属性保持一致。 用户配置任务时多了一个表映射,将一个相似名称的源表配置采集数据到此目标
columns; 执行以下命令退出数据库连接。 exit; 创建XStream出站服务器。 一个XStream出站服务器只能在一个FDI集成任务中使用,若该数据库需要用于多个集成任务,需创建多个XStream出站服务器。 在命令行工具中执行以下命令以xstrmadmin用户连接到数据库实例。
不宜过长。建议最少保留2天以上的归档日志。 在首次执行数据同步期间,建议不要对源端数据库做DDL操作。 如果创建组合任务个数过多,对数据库服务器、FDI插件进程均会产生资源消耗,所以建议对一个数据库,不要创建过多组合任务。 FDI支持单个CDC任务中配置多个Schema下的多个数据库表,实现统一的全量或增量采集能力。
在“物模型”页签下,单击“创建物模型服务”。 在创建物模型服务弹窗中配置物模型服务相关信息,完成后单击“确认”。 表2 物模型服务配置 参数 配置说明 物模型服务名称 填写物模型服务的名称,自定义,例如“ParkingStatus”。 是否启用 是否启用该物模型服务,保持默认“启用”。 描述
配置异常数据存储(可选) 概述 本节主要提供数据集成任务异常数据存储的配置说明,仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中,如果源
接入SQL Server数据源 概述 ABM支持把SQL Server作为一个数据源,并用于模型采集。在使用SQL Server数据源前,您需要先接入数据源。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM
接入本地文件数据源 概述 ABM支持把本地文件作为一个数据源,并用于模型采集。在使用本地文件类型数据源前,您需要先创建数据源。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM > 模型采集
时,DWS集群会变为只读状态。从FDI侧来看,在某个时间点,所有访问DWS的任务均异常停止。 解决方案 处理DWS只读状态问题,恢复数据库服务后,如果FDI的任务停止时间没有超过6小时,可以直接启动任务。如果已经超过6小时,通道内的数据已经过期,需要根据实际情况重置同步进度,然后
保持默认设置,不开启。 配置API的请求参数。为简单起见,此处不定义请求参数,直接单击“下一步”。 选择“后端服务类型”,为简单起见,本配置样例中选择“Mock”类型后端服务,固定返回指定响应结果。 配置API的后端配置信息。 图3 后端配置信息 表3 后端配置信息 参数 配置说明
root filebeat.yml 执行以下命令启动Filebeat。 docker-compose up -d 部署ELK 登录ELK所部署的服务器,切换root用户。 执行以下命令启动ELK。 cd /ELK docker-compose up -d 执行以下命令,判断ElasticSearch是否启动成功。
0或以上版本。 获取SDK 旧版界面:登录ROMA Connect实例控制台,在“服务集成 APIC > API调用”的“SDK”页签中下载SDK。 新版界面:登录ROMA Connect实例控制台,在“服务集成 APIC > 凭据管理”的“SDKs”页签中下载SDK。 解压后目录结构如下:
MD5Encoder类说明 路径 com.huawei.livedata.lambdaservice.util.MD5Encoder 说明 计算Md5值。 方法列表 返回类型 方法和说明 static String md5(String source) 计算字符串的Md5值 方法详情
连接器RESTful接口规范 数据读取接口 接口规范定义 接口URI POST /reader 接口请求 { "job_name": "job_name", "datasource": { "para1": "******", "para2":
MRS Hive目标端写入时出现数据乱码 原因分析 创建任务时,目标端存储类型选择与建表时类型不一致。 比如建表时存储类型为text(文本文件),而创建任务时目标端存储类型选择了RCFile格式。 解决方案 修改界面选择的存储类型与建表时一致即可。 父主题: 数据集成任务
接入SYBASEIQ数据源 概述 ABM支持把SYBASEIQ作为一个数据源,并用于模型采集。在使用SYBASEIQ数据源前,您需要先接入数据源。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM
接入HANADB数据源 概述 ABM支持把HANADB作为一个数据源,并用于模型采集。在使用HANADB数据源前,您需要先接入数据源。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM
选择模板创建组合应用 登录新版ROMA Connect控制台。 在左侧导航栏选择“资产目录”,在右测搜索框搜索“定时同步”,选择“定时同步MySql中的数据到Oracle”模板,单击“使用模板”。 本实践中MySQL数据源表中的字段与Oracle中数据目标表中的字段类型保持一致。
API到MySQL时源端报“401 unauthorized”错误 原因分析 可能是以下两种原因产生该问题: 创建API的时候“安全认证”选择的是“无认证”,创建数据源的时候“认证方式”选了“AppKey Auth”。 创建API的时候“安全认证”选择的是“App认证”,创建数据源的时候“认证方式”选了“AppKey
配置映射规则 概述 本节主要提供数据集成任务映射规则的配置说明。可以通过配置ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。规则映射有映射模式和脚本模式两种模式,其中映射模式包含自动配置和手动配置两种方式。 约束与限制 源
close_inactive: 1m clean_inactive: 72h output.logstash: # 填写ELK组件所服务器的IP和Logstash对外开放的端口号(在ELK的logstash.conf文件中配置,默认为5044),需自行配置防火墙端口,开放访问权限。