检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FDI任务只能采集单张表到单张表吗? 普通任务只能从源端的单个表采集到目标端单个表,组合任务可以配置多个表采集到多个表。 父主题: 数据集成普通任务
级联实例的实例ID列表,级联实例中无需配置该参数。 在级联实例创建到被级联实例的负载通道。 在级联实例控制台左侧的导航栏选择“服务集成 APIC > API管理”,在“负载通道”页签中单击“创建负载通道”。 在新建负载通道页面配置负载通道相关信息。 配置负载通道配置。 表3 负载通道配置 参数 配置说明
在调用API前,您需要向API提供方获取API的调用信息。 获取API的请求信息 在ROMA Connect实例控制台选择“服务集成 APIC > API管理”,在“API列表”页签中可获取API的“域名”、“请求方法”和“请求路径”。单击API的名称进入API详情页面,在“调用信息”页签下,获
连接器 创建连接器 发布连接器 父主题: 数据集成指导
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? 如果是采集同一个文件,每次在OBS上更新文件,目标端数据库有主键情况下,每次会根据主键更新数据。 如果是采集多个文件,目标端数据库有主键且主键相同的情况下,每次都会更新成时间最早的文件里的值,即数据内容没有变化
APIC > API调用”的“SDK”页签中下载SDK。 新版界面:登录ROMA Connect实例控制台,在“服务集成 APIC > 凭据管理”的“SDKs”页签中下载SDK。 解压后目录结构如下: 名称 说明 hasher.cpp SDK代码 hasher.h header.h
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的
方案概述 方案介绍 服务集成APIC是ROMA Connect的API集成组件,支持将已有后端服务、数据源和自定义函数封装成标准的RESTful API,并对外开放,简化分享数据或提供服务的过程,降低企业之间对接的成本。 通过ROMA Connect的服务集成功能,可快速把企业的业务系统数据以RESTful
旧版界面:登录ROMA Connect实例控制台,在“服务集成 APIC > API管理”的“签名密钥”页签中下载SDK。 新版界面:登录ROMA Connect实例控制台,在“服务集成 APIC > 凭据管理”的“SDKs”页签中下载SDK。 导入工程 打开IntelliJ IDEA,在菜单栏选择“File
APIC > API调用”的“SDK”页签中下载SDK。 新版界面:登录ROMA Connect实例控制台,在“服务集成 APIC > 凭据管理”的“SDKs”页签中下载SDK。 解压后目录结构如下: 名称 说明 signer_common.c SDK代码 signer_common
FDI通过公网对接其他租户的MRS HIVE如何配置? 首先需要将MRS的IP全部绑定EIP,然后在MRS配置文件中的私网IP全部替换成EIP,再到hdfs-site.xml文件中添加一个配置项“dfs.client.use.datanode.hostname”,值设为“true”。
配置任务完成后执行(可选) 概述 定时数据集成任务执行成功后,根据配置发送消息至Kafka或MRS Kafka。第三方平台(比如DataArts Studio)可以通过订阅Kafka或MRS Kafka获取消息,并根据实际需要选择是否执行数据抽取任务。 本章节介绍任务执行完成后,
业务使用介绍 功能简介 数据集成FDI是ROMA Connect的数据集成组件,支持多种数据源之间的数据集成转换。使用ROMA Connect进行数据集成,有如下优势: 支持多种类型数据源 ROMA Connect支持接入关系型数据库、大数据存储、半结构化存储、消息系统等多种类型
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符: alter table 表名set serdeproperties('field.delim'='分隔符') 父主题: 数据集成任务
创建前端自定义认证 如果您需要把自己的认证系统用于API调用的认证鉴权,可以使用自定义认证来实现。 自定义认证包括前端和后端两种类型: 前端自定义认证:指ROMA Connect使用自定义的认证函数,对收到的API请求进行安全认证。 后端自定义认证:指API的后端服务使用自定义的认证函数,对来自ROMA
配置示例 前提条件 已获取IAM和ROMA Connect服务所在区域的Endpoint地址。 已获取ROMA Connect实例的实例ID,以及实例所在区域的项目ID。 在调用ROMA Connect的接口时,需要为调用请求添加认证信息。有Token认证和AK/SK认证两种认证
已安装开发工具和Java开发语言环境,具体请参见开发准备。 获取Demo。 在ROMA Connect实例控制台的“消息集成 MQS > Topic管理”页面,单击右上角的“下载示例 > 下载RESTful API Java Demo包”下载Demo。 导入工程 打开IntelliJ IDEA,在菜单栏选择“Import
RawFormDataResponse 表1 RawFormDataResponse 参数 是否必选 参数类型 描述 project_id 否 String 项目ID。 task_name 否 String 任务名称。 task_type 否 String 任务类型。 - realtime
MRS Hive 获取MRS Hive配置文件方法如下: 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件,在MRS Manager下载用户认证文件,解压后得到“krb5.conf”和 “user.keytab”文件。 获取“hiveclient