检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置索引生命周期策略(可选) ElasticSearch存储的数据,默认未设置过期时间,用户可根据磁盘空间情况,为ElasticSearch数据设置索引生命周期策略。 创建生命周期策略 登录Kibana可视化界面。 访问地址:IP:Port 其中,IP为ELK所部署服务器的IP;
例如,某企业的业务系统需要使用ROMA Connect进行业务集成:其中需要创建50个数据集成任务进行数据同步,但并行运行的数据集成任务最多为20个,则数据集成所需要使用的连接数为20/2=10;需要创建200个托管类API和20个数据API用于业务功能和数据的开放,则服务集成所需要使用的连接数为200/10+2
跨系统业务数据集成与转换 方案概述 配置系统间数据集成
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。 父主题: 数据集成任务
有归属的集成应用。 根据不同的业务场景,选择使用不同ROMA Connect功能。 数据集成:接入源端和目标端数据源,然后通过集成任务进行源端到目标端的数据集成。 服务集成:把已有后端服务、数据源和自定义函数封装成标准的RESTful API,并对外开放。 消息集成:创建消息To
Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端? 目标端MRS Hive和源端字段数据类型不匹配时,例如源端字段为datetime,目标端字段为date,数据可以集成到目标端,但是数据类型不匹配的字段值会为NULL,其他字段正常集成。 父主题: 数据集成普通任务
List<MetaData> 数据源的元数据定义对象,仅当“是否解析(is_parse)”选择“是”时需要配置。 对于FTP数据源类型,元数据必须按照文件中的字段顺序填写。 数据源为API、FTP配置。 path 否 String 文件路径,文件型数据源,为必填项。 write_mode
最新动态(html) 本文介绍了Huawei Cloud EulerOS产品新特性和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。
Connect内分配唯一的ID和密钥,使设备可以连接到ROMA Connect上的LINK中。 数据转发 ROMA Connect不会直接存储设备上报的数据,您需要配置数据转发规则,把设备数据转发到其他服务进行存储。可以把数据转发到ROMA MQS,也可以转发到Kafka、DIS等其他服务。 接入设备
表名存在乱码导致Camel访问数据库失败 原因分析 访问数据库使用参数不正确,导致组合任务启动失败,任务终止。 解决方案 检查数据库中是否有表名存在乱码的情况,如果存在请和数据库管理员沟通后删除乱码表名的表,然后重新启动任务。 父主题: 数据集成组合任务
7版本。 消息集成(MQS)容量阈值策略 实例中MQS消息存储达到容量阈值时(存储空间的95%)的处理策略,请根据您的业务需要选择。 生产受限:拒绝消息生产请求,直到有消息到达老化时间被删除,腾出存储空间后(剩余存储空间大于5%),才能接收新的消息生产请求。此策略适用于消息消费
定时同步MySQL中的数据到Oracle 方案概述 资源规划 创建MySQL连接器 创建Oracle连接器 选择模板创建组合应用 数据同步验证
切换API版本 功能介绍 API每次发布时,会基于当前的API定义生成一个版本。版本记录了API发布时的各种定义及状态。 多个版本之间可以进行随意切换。但一个API在一个环境上,只能有一个版本生效。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API E
一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网
datasource_id 是 String 数据源ID。 最小长度:1 最大长度:64 表2 Query参数 参数 是否必选 参数类型 描述 direction_type 是 String 数据源所在任务位置。 SOURCE 数据源处于任务源端 TARGET 数据源处于任务目标端 最小长度:0
ds_id String 数据源编号,当api_type = data时,必选 ds_name String 数据源名称 ds_type String 数据源类型: oracle:oracle数据源类型 mysql:mysql数据源类型 mongodb:mongodb数据源类型 redis:redis数据源类型
选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式,由系统根据用户配置自动拼接数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述
jar & 以MQS数据源作为源端,MySQL作为目标端为例创建实时任务。 参考创建数据集成任务(普通任务)接入源端MQS数据源和目标端MySQL数据源,并创建实时任务。完成后运行任务,可以将源端MQS数据源中的数据,迁移到MySQL数据源的表中。 父主题: 数据集成开发指导
图解应用与数据集成平台
配置断路器策略 ROMA Connect支持通过插件策略的方式,为API提供灵活的扩展能力。断路器是ROMA Connect在后端服务出现性能问题时保护系统的内置机制。当API的后端服务出现连续N次超时或者时延较高的情况下,会触发断路器的降级机制,向API调用方返回固定错误或者将