检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下线API 概述 已发布的API,如果需要暂停对外提供服务,可以将API从相关发布环境中下线。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“服务集成 APIC > API管理”,在“API列表”页签中单击API右侧的“更多
启停数据集成任务 概述 数据集成任务创建后,“任务状态”为“停止”状态,此时任务不会执行,需先启动任务。 定时任务启动后,ROMA Connect按照任务计划进行数据集成。首次执行时,会把所有符合条件的源端数据集成到目标端,后续根据任务配置,集成符合条件的全量数据或只集成增量数据。
任务。在使用MRS Kafka数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 MRS Kafka数据源所在的MRS集群已开启Kerberos认证,并已为机机交互用户配置执行权限,具体请参考准备开发用户。
布API。 添加到定时任务中的API必须为“APP认证”或“无认证”的安全认证方式。 ROMA Connect的实例配置参数“app_route”已设置为“on”,开启支持IP访问;“app_secret”已设置为“on”,开启app_secret认证 操作步骤 登录ROMA C
0303 Incorrect App authentication information. 检查请求的方法、路径、查询参数、请求体和签名使用的方法、路径、查询参数、请求体是否一致。 检查客户端机器时间是否正确。 403 APIC.0304 The app is not authorized
Connect实例的“服务集成 APIC > API列表”中展示。 安全认证 选择安全认证方式,当前支持以下方式 APP认证:表示由ROMA Connect对API请求进行安全认证。用户调用API时,使用授权集成应用的Key和Secret进行API请求的安全认证。使用该方式的API适合所有用户调用。 IA
定时器 定时器是一种能够按照预定的时间间隔触发特定操作的触发器。它可以在设定的时间周期内周期性地触发操作,也可以在指定的时间点触发操作。定时器常用于实现定时任务、定时调度等功能。 支持的动作 每分钟触发 每小时触发 每周触发 每月触发 固定时间间隔触发 配置参数 表1 每分钟触发
MQ是IBM提供的一个消息队列软件,它可以在分布式系统中进行异步通信,确保数据的可靠传输。MQ是一种基于消息的中间件,它提供了一种可靠、安全的方式来传输消息,可以在不同的应用程序、平台和系统之间进行通信。MQ可以确保消息在传输过程中不会丢失、重复或失序,并且可以在不同的系统之间进行数据转换和格式化。 创建IBM
创建MySQL连接器 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“MySql”连接器。 在弹窗中配置连接器信息,完成后单击“测试连接”。 参数 说明 连接名称 填写连接器实例名称MySql_test。 区域 选择区域。
怎样保证API对应的后端服务器的安全? 通过以下方法确保API的后端服务器的安全: 为API绑定签名密钥。在绑定签名密钥后,APIC到后端服务的请求增加签名信息,后端服务收到请求后计算签名信息,验证计算后的签名信息与APIC的签名信息是否一致。 使用HTTPS对请求进行加密。使用
跟踪号是什么,能跟踪到数据吗? 跟踪号为后台跟踪任务状态使用,不能跟踪到数据。 父主题: 数据集成普通任务
在添加配置弹窗中配置相关信息,完成后单击“确定”。 表1 公共配置 参数 说明 配置名称 填写配置的名称,根据规划自定义。 所属集成应用 选择配置所归属的集成应用。 配置类型 选择配置的类型,可选择“模板变量”、“密码”和“证书”。 配置值 仅当“配置类型”选择“模板变量”和“密码”时可配置。
配置API的凭据访问控制 凭据访问控制可控制访问API的凭据IP地址,保护后端服务。您可以为凭据设置访问控制策略,允许/禁止某个IP地址的凭据访问API。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“服务集成
创建发布环境和环境变量(可选) 概述 环境是指API的受限使用范围,API只有在发布到环境后,才能被调用。API可以被发布到不同的自定义环境中,如开发环境、测试环境等。RELEASE是系统默认的发布环境,也是正式发布环境。 环境变量是指在环境上创建的一种变量,该变量固定在环境上。
Hive分区字段映射配置说明。 配置Mapping信息 在创建任务页面中配置Mapping信息,有自动配置和手动配置两种方式。 自动配置Mapping 若源端信息与目标端信息中都定义了元数据,可使用“自动Mapping”方式配置Mapping信息。 单击“自动Mapping”,源端和目标端数据
客户端参数配置建议 Kafka客户端的配置参数很多,以下提供Producer和Consumer几个常用参数配置。 表1 Producer参数 参数 默认值 推荐值 说明 acks 1 高可靠:all 高吞吐:1 收到Server端确认信号个数,表示procuder需要收到多少个这
导入导出数据集成任务 概述 数据集成任务创建后,您可以通过导入导出功能,导入或导出数据集成任务。如果数据集成任务关联子任务,在任务导入后需要重新配置子任务信息。 导出数据集成任务 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据集成
在左侧的“基础组件”中拖拽“集成应用”至编排区域。 单击“集成应用”节点进行配置,配置项说明请参考表1,配置完成后单击“确认”。 表1 集成应用配置 参数 配置说明 实例 选择所属项目的实例。 应用 选择所属实例的应用。如果没有可选应用,您可单击“”新建一个集成应用,具体可参考创建集成应用。 您可单击弹窗左上方的“”,修改集成应用的名称。
表1 Topic配置 参数 配置说明 Topic名称 填写Topic的名称,自定义。 集成应用 选择在ROMA Connect注册设备中创建的集成应用。 权限 为Topic所属的集成应用选择对Topic的操作权限,此处选择“发布+订阅”,即该Topic可用于生产和消费消息。 分区数
MRS Hive 获取MRS Hive配置文件方法如下: 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件,在MRS Manager下载用户认证文件,解压后得到“krb5.conf”和 “user.keytab”文件。 获取“hiveclient