检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接入OBS数据源 概述 ROMA Connect支持把OBS(对象存储服务)作为一个数据源,并用于数据集成任务。在使用OBS数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 操作步骤
OBS数据源测试连接失败 原因分析 可能是以下两种原因导致: 数据源地址未配置为Endpoint地址。 AK/SK和桶名称不正确。 解决方案 修改地址为Endpoint地址。 填写正确的AK/SK和桶名称。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? 如果是采集同一个文件,每次在OBS上更新文件,目标端数据库有主键情况下,每次会根据主键更新数据。 如果是采集多个文件,目标端数据库有主键且主键相同的情况下,每次都会更新成时间最早的文件里的值,即数据内容没有变化
对象存储服务 对象存储服务连接器用于对接华为云对象存储服务。 对象存储服务(Object Storage Service,简称OBS)是一个基于对象的海量存储服务,为您提供海量、安全、高可靠、低成本的数据存储能力。 创建对象存储服务连接 登录新版ROMA Connect控制台。
APIC如何对流量进行控制? 您可以通过流控策略控制单位时间内API被访问的次数,保护后端服务,详情请参考流量控制。 默认的流控策略是单个API的访问不超过6000次/秒,如果您未创建流控策略,APIC会执行默认流控策略。您可以在ROMA Connect实例控制台“实例信息”页面
K代码示例调试功能。 URI GET /v2/{project_id}/instances/{instance_id}/assets/jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 instance_id 是 String 实例ID。 project_id
以上组件中,FDI、APIC、MQS、LINK为必选组件,ABM、BFS为增强版可选组件。 检查与IEF、SWR、OBS和AOM四个服务通信。如果您的虚拟机节点所在环境配置了网闸或网络限制,可以根据如何获取IEF云端服务IP地址获取IP地址进行配置。 离线版软件获取与安装方法 获取软件RPM离线安装包需要找
待提取图片暗水印的图片地址,当前只支持OBS对象,格式为 obs://bucket/object ,其中bucket为和当前项目处于同一区域的OBS桶名称,object为对象全路径名。例如:obs://hwbucket/hwinfo/hw.png,其中obs://表示OBS存储,hwbucket为桶名,hwinfo/hw
公网HTTP/HTTPS URL。 华为云OBS提供的URL,使用OBS数据需要进行授权。包括对服务授权、临时授权、匿名公开授权。详情参见配置OBS服务的访问权限。 置信度 置信度的阈值(0~1),低于此置信数的标签,将不会返回。 父主题: 华为云服务
FDI任务只能采集单张表到单张表吗? 用户创建的FDI任务,同一账号的其他用户可见吗? FDI通过公网对接其他租户的MRS HIVE如何配置? 从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? MRS Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端?
Management,简称IAM)是云服务平台的身份管理服务,包括用户身份认证、权限分配、访问控制等功能。 通过统一身份认证服务,实现对ROMA Connect的访问控制。 云监控服务 云监控服务(Cloud Eye)是云服务平台提供的安全、可扩展的统一监控方案,通过云监控服务集中监控ROMA C
在创建任务页面中配置异常数据存储信息。 表1 异常数据存储信息 参数 配置说明 集成应用 选择OBS数据源所属的集成应用。 源端数据类型 当前仅支持选择“OBS”。 数据源名称 选择已配置的OBS数据源。 Path 填写异常数据要存储到OBS数据源的对象名。Path的值不能以斜杠(/)结尾。 配置完成后,若
数据源 数据源连接测试失败排查操作 MRS Hive数据源测试连接失败 FTP数据源测试连接失败 OBS数据源测试连接失败 Kafka数据源连接失败
"server": "OBS", "x-obs-bucket-location": "cn-north-7", "x-obs-id-2": "32AAAQAAEAABAAAQAAEAABAAAQAAEAABCSbOSbK+ncLEgZnxffa8vFPuDgVIt7n9", "x-obs-request-id":
Connect提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见如何调用API。 父主题: 使用前必读
如何调用API 构造请求 认证鉴权 返回结果
最大长度:2147483647 ftp_protocol 否 String 访问FTP服务协议类型。 sftp ftp 最小长度:4 最大长度:2147483647 address 否 String 地址。 OBS (obs远端地址,obs数据源使用)。 MONGODB (MONGODB数据源类型主机IP地址,多个IP:PORT,使用"
最大长度:2147483647 ftp_protocol 否 String 访问FTP服务协议类型。 sftp ftp 最小长度:4 最大长度:2147483647 address 否 String 地址。 OBS (obs远端地址,obs数据源使用)。 MONGODB (MONGODB数据源类型主机IP地址,多个IP:PORT,使用"
最大长度:2147483647 ftp_protocol String 访问FTP服务协议类型。 sftp ftp 最小长度:4 最大长度:2147483647 address String 地址。 OBS (obs远端地址,obs数据源使用)。 MONGODB (MONGODB数据源类型主机IP地址,多个IP:PORT,使用"