检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建数据集成任务(普通任务) 配置任务基本信息 配置源端数据信息 配置目标端数据信息 配置数据映射规则 配置异常数据存储(可选) 配置任务完成后执行(可选) 父主题: 数据集成指导
在选择SSL证书弹窗中勾选要绑定的SSL证书,然后单击“确定”,完成SSL证书的绑定。 若证书列表中无可用的SSL证书,可单击“创建SSL证书”,新增SSL证书,具体操作配置请参考创建SSL证书。 父主题: 创建并开放数据API
在选择SSL证书弹窗中勾选要绑定的SSL证书,然后单击“确定”,完成SSL证书的绑定。 若证书列表中无可用的SSL证书,可单击“创建SSL证书”,新增SSL证书,具体操作配置请参考创建SSL证书。 父主题: 创建并开放函数API
创建发布环境和环境变量(可选) 环境是指API的受限使用范围,API只有在发布到环境后,才能被调用。API可以被发布到不同的自定义环境中,如开发环境、测试环境等。RELEASE是系统默认的发布环境,也是正式发布环境。 环境变量是指在环境上创建的一种变量,该变量固定在环境上。如果A
创建发布环境和环境变量(可选) 概述 环境是指API的受限使用范围,API只有在发布到环境后,才能被调用。API可以被发布到不同的自定义环境中,如开发环境、测试环境等。RELEASE是系统默认的发布环境,也是正式发布环境。 环境变量是指在环境上创建的一种变量,该变量固定在环境上。
与其他服务的关系 虚拟私有云 虚拟私有云(Virtual Private Cloud,简称VPC)是用户在云服务平台上申请的隔离的、私密的虚拟网络环境。用户可以自由配置VPC内的IP地址段、子网、安全组等子服务,也可以申请弹性带宽和弹性IP搭建业务系统。 ROMA Connect
选择接入数据源中已配置的RabbitMQ数据源。 是否创建新队列 选择是否在源端RabbitMQ数据源创建一个新队列。 选择是,表示创建一个新队列,并从该队列获取数据。 选择否,表示从已有队列中获取数据。 交换方式 仅当“是否创建新队列”选择“是”时需要配置。 选择RabbitMQ中交换器将消息转发到新队列的路由方式。
告诉ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。 配置Mapping信息 在创建任务页面中配置Mapping信息,有自动配置和手动配置两种方式。 源端与目标端字段名请勿使用对应数据库的关键字,否则可能导致任务运行异常。
Connect实例与数据源在同一区域的不同VPC内时,可通过创建VPC对等连接,将两个VPC的网络打通,实现同一区域跨VPC访问数据源。具体步骤请参考VPC对等连接说明。 若ROMA Connect实例与数据源在不同区域的不同VPC内时,可通过创建云连接实例并加载需要互通的VPC,将两个VPC
配置编排任务流程 概述 编排任务,通过可视化UI界面来创建任务,以降低不同经验背景用户的开发门槛。编排任务主要支持以下功能: 通过一个处理器节点实现一个数据源到N个目标端的采集,能够完成1:N场景的数据采集。 任务配置采用拖拽节点的方式实现参数配置,简化流程。 编排模式的数据转换
mqs_long = sourceObject["root.long"]; return targetObject; } 父主题: 创建数据集成任务(编排任务)
Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据集成 FDI > 任务管理”,单击页面的“创建普通任务”。 在创建任务页面中配置任务基本信息。 表1 任务基本信息 参数 配置说明 任务名称 填写任务的名称,根据规划自定义。建议您按照一定的命名
向DWS写入数据时越来越慢怎么解决 原因分析 查看界面上的采集数据,如果写入数据耗时在秒级,属于正常的情况。如果写入几千条数据超过5秒,一般是性能劣化的表现。 解决方案 如果对DWS的某个表频繁访问,会导致写入性能逐渐降低,需要对DWS进行调优,例如,定时使用analyze规划表、VACUUM
可调用API。 黑名单 仅当“绿色通道”开启时可配置。 填写要添加到黑名单的IP地址或地址段,黑名单中的地址不允许调用API。 父主题: 创建并开放数据API
可调用API。 黑名单 仅当“绿色通道”开启时可配置。 填写要添加到黑名单的IP地址或地址段,黑名单中的地址不允许调用API。 父主题: 创建并开放函数API
数据源。 是否创建新队列 选择是否在源端RabbitMQ数据源创建一个新队列。 选择是,表示创建一个新队列,并把待集成数据发送到该队列。 选择否,表示把待集成数据发送到已有队列。 交换方式 选择RabbitMQ数据源中,交换器将消息转发到队列的路由方式。若“是否创建新队列”选择“
表12 源端RabbitMQ信息 参数 配置说明 是否创建新队列 选择是否在源端RabbitMQ数据源创建一个新队列。 选择是,表示创建一个新队列,并从该队列获取数据。 选择否,表示从已有队列中获取数据。 交换方式 仅当“是否创建新队列”选择“是”时需要配置。 选择RabbitMQ中交换器将消息转发到新队列的路由方式。
块折叠,否则影响任务保存。 配置异常数据存储 在配置异常数据存储前,您需要提前完成OBS数据源的接入配置,具体请参见接入OBS数据源。 在创建任务页面中配置异常数据存储信息。 表1 异常数据存储信息 参数 配置说明 集成应用 选择OBS数据源所属的集成应用。 源端数据类型 当前仅支持选择“OBS”。
前提条件 已经在对应的应用下创建Kafka和MRS Kafka数据源,数据源创建参考接入Kafka数据源和接入MRS Kafka数据源。 已创建消息集成Topic并授发布和订阅权限。创建Topic和授权参考消息集成指导章节。 配置任务完成后执行 在创建任务页面中配置任务完成后执行信息。
data (all) columns; 执行以下命令退出数据库连接。 exit; 创建XStream出站服务器。 一个XStream出站服务器只能在一个FDI集成任务中使用,若该数据库需要用于多个集成任务,需创建多个XStream出站服务器。 在命令行工具中执行以下命令以xstrmadmin用户连接到数据库实例。