检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加一个API,API即一个服务接口,具体的服务能力。API分为两部分,第一部分为面向API使用者的API接口,定义了使用者如何调用这个API。第二部分面向API提供者,由API提供者定义这个API的真实的后端情况,定义了ROMA Connect如何去访问真实的后端服务。API的真实后端服务目前支持的类型:传统
配置索引生命周期策略(可选) ElasticSearch存储的数据,默认未设置过期时间,用户可根据磁盘空间情况,为ElasticSearch数据设置索引生命周期策略。 创建生命周期策略 登录Kibana可视化界面。 访问地址:IP:Port 其中,IP为ELK所部署服务器的IP;Port为Kibana端口号
资源规划 完成本实践所需的资源: 表1 资源规划 资源 资源说明 数量 MySQL 2核 4GB 1 Oracle 2核 4GB 1 新版ROMA Connect实例 配额设置为组合应用,2RCU 1 父主题: 定时同步MySQL中的数据到Oracle
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。
Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“MRS HDFS”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明
Service,简称OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。 ROMA Connect可以使用OBS作为数据集成任务的源端和目标端,也可以在数据集成任务运行过程中,把转换异常的数据存储到OBS中。 分布式缓存服务
为什么规则引擎的数据目的端未收到设备发送的消息? 数据目的端未收到设备发送的消息主要有以下原因: 可能是您的安全组没有添加正确的入方向规则。 请您进入“实例信息”界面,找到您的安全组。单击安全组名称进入安全组详情页面,然后根据表1添加相应的入方向规则。 表1 安全组参数 参数 端口
在接入数据源页面的“默认数据源”页签下,选择“MRS Hive”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。
选择要调用的函数。 调用方式 选择函数的调用方式,当前仅支持“同步”方式。 请求数据 执行函数的请求体,必须为JSON格式。可以通过引用变量的方式引用前序节点中的数据。 函数工作流服务具有强大的数据处理能力,可应用于多种场景。其中一个使用场景为,当使用“数据源类型组件”从数据库(如M
target_datasource_name String 目标端数据源的名称。 最小长度:1 最大长度:64 source_app_id String 源端数据源所属集成应用ID。 最小长度:1 最大长度:64 target_app_id String 目标端数据源所属集成应用ID。 最小长度:1 最大长度:64
手工停止当前执行的任务 功能介绍 手工停止当前执行的任务。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/fdi/ins
监控分析”,在“API监控”页签中可查看API的调用统计情况。 可查看“API总数”、“API分组总数”、“流控策略总数”的实时统计。 查看某个API的调用统计,包括“请求次数”、“调用延时”、“数据流量”和“出错统计”。 选择“集成应用”和“API”,筛选要查看统计数据的API,并可以选择要查看数据的时间段范围。
自定义后端开发:用户在使用服务集成APIC的自定义后端创建函数后端和数据后端时,涉及函数脚本或数据库执行语句的编写开发。 函数后端:创建函数后端时需要编写函数脚本,进行函数功能开发,ROMA Connect提供了部分Java类函数供用户直接使用。 数据后端:创建数据后端时需要编写执行语句,用于对数据源进行操作。
application already exists. 应用已存在。 应用已存在,请填写正确的应用名称。 400 ROMA.14012 The application key already exists. 应用键已存在。 应用键已存在,更换键,或者修改已有键。 400 ROMA.14014
timeout:读取超时时间,最大值为30000毫秒,建议timeout设置值小于前端API的“后端超时”时间值 maxItems:读取消息的最大数量 返回信息 Kafka已消费的消息数组,消息数组即将多条消息的内容组成一个数组 父主题: 自定义后端开发(函数后端)
FDI通过公网对接其他租户的MRS HIVE如何配置? 首先需要将MRS的IP全部绑定EIP,然后在MRS配置文件中的私网IP全部替换成EIP,再到hdfs-site.xml文件中添加一个配置项“dfs.client.use.datanode.hostname”,值设为“true”。
一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。不过,在基础设施、BGP网络品质、资源的操作与配置等方面,中国大陆各个区域间区别不大,如果您或者您的目标用户在中国大陆,可以不用考虑不同区域造成的网络时延问题。 在除中国大陆以外的亚太地区有业务的用户,可以选择“
完毕,存在一个时间差的问题,部分数据可能存在较大的端到端时延。 此方案适用于对消息顺序有要求,却对端到端时延不敏感的业务。 迁移流程 将生产客户端的Kafka连接地址修改为ROMA Connect实例的消息集成MQS连接地址。 重启生产业务,使得生产者将新的消息发送到ROMA Connect实例中。
配置API的凭据配额控制 凭据配额可限制单位时间内凭据调用API的总次数,保护后端服务。您可以创建凭据配额策略,对绑定策略的凭据进行调用次数限制。 凭据配额策略和凭据本身是相互独立的,只有将凭据绑定凭据配额策略后,凭据配额策略才对凭据生效。 约束与限制 同一个凭据只能绑定一个凭据
我的资产 创建资产 导入API 导入组合应用 创建凭证 父主题: 资产中心