检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接入OBS数据源 概述 ROMA Connect支持把OBS(对象存储服务)作为一个数据源,并用于数据集成任务。在使用OBS数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 操作步骤
OBS数据源测试连接失败 原因分析 可能是以下两种原因导致: 数据源地址未配置为Endpoint地址。 AK/SK和桶名称不正确。 解决方案 修改地址为Endpoint地址。 填写正确的AK/SK和桶名称。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? 如果是采集同一个文件,每次在OBS上更新文件,目标端数据库有主键情况下,每次会根据主键更新数据。 如果是采集多个文件,目标端数据库有主键且主键相同的情况下,每次都会更新成时间最早的文件里的值,即数据内容没有变化
APIC如何对流量进行控制? 您可以通过流控策略控制单位时间内API被访问的次数,保护后端服务,详情请参考流量控制。 默认的流控策略是单个API的访问不超过6000次/秒,如果您未创建流控策略,APIC会执行默认流控策略。您可以在ROMA Connect实例控制台“实例信息”页面
对象存储服务 对象存储服务连接器用于对接华为云对象存储服务。 对象存储服务(Object Storage Service,简称OBS)是一个基于对象的海量存储服务,为您提供海量、安全、高可靠、低成本的数据存储能力。 创建对象存储服务连接 登录新版ROMA Connect控制台。
K代码示例调试功能。 URI GET /v2/{project_id}/instances/{instance_id}/assets/jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 instance_id 是 String 实例ID。 project_id
以上组件中,FDI、APIC、MQS、LINK为必选组件,ABM、BFS为增强版可选组件。 检查与IEF、SWR、OBS和AOM四个服务通信。如果您的虚拟机节点所在环境配置了网闸或网络限制,可以根据如何获取IEF云端服务IP地址获取IP地址进行配置。 离线版软件获取与安装方法 获取软件RPM离线安
Connect提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见如何调用API。 父主题: 使用前必读
FDI任务只能采集单张表到单张表吗? 用户创建的FDI任务,同一账号的其他用户可见吗? FDI通过公网对接其他租户的MRS HIVE如何配置? 从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? MRS Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端?
在创建任务页面中配置异常数据存储信息。 表1 异常数据存储信息 参数 配置说明 集成应用 选择OBS数据源所属的集成应用。 源端数据类型 当前仅支持选择“OBS”。 数据源名称 选择已配置的OBS数据源。 Path 填写异常数据要存储到OBS数据源的对象名。Path的值不能以斜杠(/)结尾。 配置完成后,若
待提取图片暗水印的图片地址,当前只支持OBS对象,格式为 obs://bucket/object ,其中bucket为和当前项目处于同一区域的OBS桶名称,object为对象全路径名。例如:obs://hwbucket/hwinfo/hw.png,其中obs://表示OBS存储,hwbucket为桶名,hwinfo/hw
数据后先进行处理再写入目标端,脚本样例参见脚本映射样例。 OBS 返回页首 任务的“集成模式”为“定时”时,可以选择OBS作为目标端数据源,具体配置如下。 表9 目标端OBS信息 参数 配置说明 对象类型 选择写入OBS数据源的数据文件类型,当前支持“文本文件”和“二进制文件”。
"server": "OBS", "x-obs-bucket-location": "cn-north-7", "x-obs-id-2": "32AAAQAAEAABAAAQAAEAABAAAQAAEAABCSbOSbK+ncLEgZnxffa8vFPuDgVIt7n9", "x-obs-request-id":
使用iOS系统时,如何进行APP认证? 目前APIC为APP认证提供了Java、Python、C、PHP、Go等多种语言的SDK与demo,当您使用iOS系统或者其他未包含在内的语言时,请参考APP认证工作原理进行APP认证。 父主题: 服务集成
获取图片方式为“URL路径”时,此处填写图片的URL路径。 目前支持: 公网HTTP/HTTPS URL。 华为云OBS提供的URL,使用OBS数据需要进行授权。包括对服务授权、临时授权、匿名公开授权。详情参见配置OBS服务的访问权限。 置信度 置信度的阈值(0~1),低于此置信数的标签,将不会返回。 标签数
请参考接入数据源。 ROMA Connect具备向目标端数据源写入数据的权限。 若需要配置同步异常的数据存储,需要完成OBS数据源的接入配置,具体请参见接入OBS数据源。 配置基本信息 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。
如何调用API 构造请求 认证鉴权 返回结果
数据源 数据源连接测试失败排查操作 MRS Hive数据源测试连接失败 FTP数据源测试连接失败 OBS数据源测试连接失败 Kafka数据源连接失败
接入MQS数据源 接入MRS Hive数据源 接入MRS HDFS数据源 接入MRS HBase数据源 接入MRS Kafka数据源 接入OBS数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源 接入RabbitMQ数据源 接入RocketMQ数据源