检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
b,元素c的完整路径为a.b.c,元素d的完整路径为a.b.d,元素c和d为底层数据元素。 此场景下,元素c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx",
添加到定时任务中的API必须为“APP认证”或“无认证”的安全认证方式。 ROMA Connect的实例配置参数“app_route”已设置为“on”,开启支持IP访问;“app_secret”已设置为“on”,开启app_secret认证 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。
配置索引生命周期策略(可选) ElasticSearch存储的数据,默认未设置过期时间,用户可根据磁盘空间情况,为ElasticSearch数据设置索引生命周期策略。 创建生命周期策略 登录Kibana可视化界面。 访问地址:IP:Port 其中,IP为ELK所部署服务器的IP;
Path:仅当API的请求路径中包含Path参数时需要设置,系统会默认列出需要填写的Path参数。 Headers:设置API请求的Headers参数。单击“增加请求参数”可增加参数,并分别填写参数名和参数值。 Parameters:设置API请求参数的Query参数。单击“增加请求参
选择“不使用”。 单位 任务执行周期的单位,与“调度周期”配合使用,可设置为“分”、“时”、“日”、“周”或“月”。 调度周期 任务执行周期,根据“单位”选择的不同,可设置值的范围不同。 例如“单位”选择“日”,“调度周期”设置为“1”,则表示数据集成任务每天执行一次。 生效时间 任务的开始执行时间。
Connect实例的按需成本预算,每月预算金额为20000元,当预测金额高于预算金额的80%时发送预算告警。那么,创建的预算如下: 图3 预算基本信息 图4 设置成本范围 图5 设置提醒 详细介绍请参见使用预测和预算来跟踪成本和使用量。 资源优化 您可以通过云监控服务监控资源的使用情况,评估当前配置是否过高。
在请先创建对等连接。 如何创建VPC对等连接请参考VPC对等连接。 请检查数据源服务器端防火墙是否开放连接端口。 请检查数据源服务器端IP白名单限制是否添加FDI数据面IP。 请检查数据源IP是否为客户自有的数据中心或私有网,如果是请先建立VPN连接。 如何创建VPN连接请参考创建VPN连接。
IP地址 单击“增加IP地址”,添加允许或禁止调用API的客户端IP地址或IP地址段。 完成后单击“确定”,完成访问控制策略设置。 访问控制策略设置后,您可以在设置访问控制策略界面单击“重置”,清除所有访问控制策略。 父主题: 控制策略管理
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符: alter table 表名set serdeproperties('field.delim'='分隔符') 父主题: 数据集成任务
方法和说明 Object put(String key, Object value) 设置配置参数 方法详情 public Object put(String key, Object value) 设置配置参数 输入参数 key:配置信息key value:配置信息value 支持以下配置参数:
查看组合应用监控 本章节指导您如何查看组合应用的监控信息。 查看监控 登录新版ROMA Connect控制台。 在左侧导航栏选择“组合应用”,在组合应用页面单击要查看监控的组合应用。 在组合应用详情页面,选择“监控”页签。 根据需要,可查看组合应用流任务的“运行监控”、“耗时监控”和“失败次数监控”的监控数据。
数据同步验证 连接Mysql数据源,在源端数据表中插入一条数据。 连接Oracle数据源,根据定时器设置的同步时间间隔等待一分钟,在目标端数据表中查看源端插入的数据是否已同步到Oracle。 父主题: 定时同步MySQL中的数据到Oracle
目标表中配置的RowId字段类型不正确导致写入数据失败 原因分析 使用RowId的方式采集Oracle表数据时,由于设置表字段类型不正确,导致报错,如下图。 解决方案 修改表字段类型,RowId一般是使用字母、数字生成的18位字符串,采集到目标端需要为字符类型。 父主题: 数据集成组合任务
RedisClient类说明 路径 com.roma.apic.livedata.client.v1.RedisClient 说明 连接Redis设置或读取缓存(如果不指定JedisConfig,则连接到自定义后端的Function API提供的默认Redis)。 使用示例 importClass(com
Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为SQL Server数据库开启CDC功能。 前提条件 不支持采集二进制类型的字段,例如:BINARY,VARBINARY,IMAGE。
s Studio)可以通过订阅Kafka或MRS Kafka获取消息,并根据实际需要选择是否执行数据抽取任务。 本章节介绍任务执行完成后,如何配置消息发送,如果不需要发送消息可不配置。 前提条件 已经在对应的应用下创建Kafka和MRS Kafka数据源,数据源创建参考接入Kafka数据源和接入MRS
查看组合应用系统日志 概述 本章节指导您如何查看组合应用的系统日志。 查看系统日志 登录新版ROMA Connect控制台。 在左侧导航栏选择“组合应用”,在组合应用页面单击要查看日志的组合应用。 在组合应用详情页面,选择“系统日志”页签,可查看该组合应用下流任务的启停记录和部署记录等日志信息。
图1 资产目录 资产中心权限 在进行资产相关操作前,请先确认您的账号是否已获取相关操作的权限,具体所需的权限请参考ROMA资产市场权限。 如何配置账号权限请参考配置ROMA Connect使用权限。 查看资产信息 登录新版ROMA Connect控制台。 在左侧导航栏选择“资产中心>资产目录”。
该字段控制明水印嵌入文字还是图片。默认为TEXT类型,需填写visible_watermark字段设置明文字水印; 当该字段为IMAGE时,需填写image_watermark字段设置水印图片地址此时 ,“visible_watermark”,“font_size”,“rotation”和“opacity”字段无效。
查看组合应用运行记录 本章节指导您如何查看组合应用的运行记录。 查看运行记录 登录新版ROMA Connect控制台。 在左侧导航栏选择“组合应用”,在组合应用页面单击要查看运行记录的组合应用。 在组合应用详情页面,选择“运行记录”页签,可查看该组合应用下流任务运行过程的相关记录信息。