检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
中,元数据集上层公共字段的路径。此处不设置。 数据类型 选择从Kafka数据源获取的数据格式类型,需要与Kafka实际存储的数据格式一致。 消费偏移设置 选择集成最早获取的消息数据还是最新获取的消息数据。 元数据 指从源端获取到的JSON或XML格式数据中,要集成到目标端的每一个底层key-value型数据元素。
是否支持跨VPC和跨子网访问ROMA Connect? ROMA Connect支持跨VPC和子网访问。 与ROMA Connect实例在相同VPC内时,可直接跨子网段访问。 与ROMA Connect实例在不同VPC内时,可通过创建VPC对等连接,将两个VPC的网络打通,实现跨V
MRS Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端? 目标端MRS Hive和源端字段数据类型不匹配时,例如源端字段为datetime,目标端字段为date,数据可以集成到目标端,但是数据类型不匹配的字段值会为NULL,其他字段正常集成。 父主题: 数据集成普通任务
获取项目ID 调用API获取项目ID 项目ID可以通过调用IAM的查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects/”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。
区域和可用区 什么是区域、可用区? 我们用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用
FDI各类数据库支持哪些数据类型? FDI各类数据库支持的数据类型有: Kafka数据库:string MySQL数据库:integer,bigint,number,varchar,char,float,date,timestamp,datetime Oracle数据库:inte
向API提供方获取API的调用信息。 获取API的请求信息。 API提供方可在ROMA Connect控制台选择“服务集成 APIC > API列表”,在列表中单击API的名称进入API运行页面,在页面中可获取API的请求方法和URL,在“前端配置”页签下,可获取API的请求参数。
选择接入数据源中已创建的数据源。 选择执行语句类型 选择执行语句的类型,可选择“SQL”和“SP”(Stored Procedure)。 如果是Redis或MongoDB数据源,选择“SQL”,实际执行语句为NoSQL。 高级设置 返回对象 填写返回对象的名称,执行语句的执行结果将封装在该对象中返回。 结果分页选项
要求 创建指导 VPC和子网 不同的ROMA Connect实例可以复用相同的VPC和子网,也可以使用不同的VPC和子网,请根据实际需要进行配置。在创建VPC和子网时应注意如下要求: 创建的VPC与使用的ROMA Connect服务应在相同的区域。 创建VPC和子网时,如无特殊需求,配置参数使用默认配置即可。
MRS HBase 获取MRS HBase配置文件方法如下: 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件,在MRS Manager下载用户认证文件,解压后得到“krb5.conf”和 “user.keytab”文件。 获取“core-site
需填写账号ID,获取方式请参见API参考的“附录 > 获取账号ID”章节。 entity_type 是 String 对象类型: IP:IP地址 DOMAIN:账号名 DOMAIN_ID:账号ID 响应参数 状态码: 201 表4 响应Body参数 参数 参数类型 描述 acl_name
MRS Kafka 获取MRS Kafka配置文件方法如下: 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件,在MRS Manager下载用户认证文件,解压后得到“krb5.conf”和 “user.keytab”文件。 获取“fikafka-producer
MRS Hive 获取MRS Hive配置文件方法如下: 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件,在MRS Manager下载用户认证文件,解压后得到“krb5.conf”和 “user.keytab”文件。 获取“hiveclient
MRS HDFS 获取MRS HDFS配置文件方法如下: 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件,在MRS Manager下载用户认证文件,解压后得到“krb5.conf”和 “user.keytab”文件。 获取“core-site.xml”、“hdfs-site
获取账号ID 在调用接口的时候,部分URL中需要填入账号ID(domain-id),所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下: 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面查看账号ID。 图1 获取账号ID 父主题: 附录
Connect内分配唯一的ID和密码,使设备可以接入到ROMA Connect。 前提条件 ROMA Connect与停车场设备和停车场管理系统的网络互通。若通过公网互通,ROMA Connect实例需绑定弹性IP。 停车场设备包含车位感应设备和进出门闸设备,配置过程类似,此处以车位感应设备的配置为例进行说明。
在创建数据API之前,您需要先接入数据源,确保可以正常从数据源读取数据。根据数据源类型的不同,数据源的接入配置有所差异。 前提条件 在接入数据源前,请确保ROMA Connect实例与您的数据源所在网络互通。 若ROMA Connect实例与数据源在相同VPC内时,可直接访问数据源。
请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 common_task_details
本节主要提供数据集成任务异常数据存储的配置说明,仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中,如果源端的某些数据符合集成条件,但因为网络抖动或数据转换异常等原因,无法顺利集成到目标端数据源,则ROMA
周期指定为“当前周期”,周期右边界“开区间”时。 开始时间字段和结束时间字段取值分别为当前周期的开始时间和结束时间。 获取数据的时间区间为[2020-11-05 22:00:00.0,2020-11-05 23:00:00.0] 周期指定为“当前周期”,周期右边界“闭区间”时。 开始时间字段和结束时间字段取值分别为当