检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接入OBS数据源 概述 ROMA Connect支持把OBS(对象存储服务)作为一个数据源,并用于数据集成任务。在使用OBS数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 操作步骤
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
OBS数据源测试连接失败 原因分析 可能是以下两种原因导致: 数据源地址未配置为Endpoint地址。 AK/SK和桶名称不正确。 解决方案 修改地址为Endpoint地址。 填写正确的AK/SK和桶名称。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? 如果是采集同一个文件,每次在OBS上更新文件,目标端数据库有主键情况下,每次会根据主键更新数据。 如果是采集多个文件,目标端数据库有主键且主键相同的情况下,每次都会更新成时间最早的文件里的值,即数据内容没有变化
导入导出资产。 资产恢复:从ROMA Connect实例导出集成资产进行数据备份,若后续因实例故障或数据丢失需要恢复资产数据,可将备份的资产文件再导入实例进行资产恢复。 建议定期导出资产文件进行数据备份(如按月导出资产文件),以供数据恢复使用。 资产迁移:把其他ROMA Conn
可实现同一个API,在不同环境中调用不同的后端服务。 负载通道 ROMA Connect通过创建负载通道,可访问同一VPC内的弹性云服务器(ECS),并把弹性云服务器中已部署的后端服务用于API开放。另外负载通道还可以实现后端服务访问的负载均衡功能。 生产者 生产者为向消息主题
对象存储服务 对象存储服务连接器用于对接华为云对象存储服务。 对象存储服务(Object Storage Service,简称OBS)是一个基于对象的海量存储服务,为您提供海量、安全、高可靠、低成本的数据存储能力。 创建对象存储服务连接 登录新版ROMA Connect控制台。
K代码示例调试功能。 URI GET /v2/{project_id}/instances/{instance_id}/assets/jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 instance_id 是 String 实例ID。 project_id
根据业务需要使用一个或多个实例。 若需要删除实例,会同步删除实例中所创建的所有资源数据,请谨慎操作。建议在删除实例前导出实例的资产数据进行备份。 前提条件 有可用的VPC,并且已配置好子网与安全组,否则请参考准备资源完成VPC、子网和安全组的创建。 ROMA Connect实例的
以根据业务需要使用一个或多个实例。 若需要删除实例,会同步删除实例中所创建的所有资源数据,请谨慎操作。建议在删除实例前导出实例资产数据进行备份。 前提条件 有可用的VPC,并且已配置好子网,否则请参考准备资源完成VPC和子网的创建。 操作步骤 进入购买ROMA Connect实例页面。
用户创建的FDI任务,同一账号的其他用户可见吗? FDI通过公网对接其他租户的MRS HIVE如何配置? 从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? MRS Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端?
Site实例前,需要准备虚拟机资源、安装Docker、安装Haveged、配置NTP时间同步、挂载磁盘,以及检查虚拟机与ROMA Site、IEF、SWR、OBS以及AOM五个服务是否通信。 其中,使用智能边缘平台IEF的容器应用,需要单独付费,计费模式如下: 套餐包计费模式:即购买了套餐包。购买后
边缘节点创建完成后,单击“下载边缘节点配置文件”下载包含边缘节点密钥等信息的配置文件。 备份下载的边缘节点配置文件中的“node.tar.gz”文件到本地。 如果用户侧虚拟机出现故障需要重置时,则需要使用备份的“node.tar.gz”文件。 配置文件下载后,待系统将边缘节点连接上云,连
ROMA Connect会自动在每个副本上备份数据,当其中一个副本故障时数据依然可用,Topic的副本数越多,可靠性越高。 老化时间(小时) 超过老化时间后,Topic中存储的消息将会被删除。 同步复制 客户端向Topic生产消息时,是否把消息复制给所有副本,然后才向消息客户端返回响应,此处不启用。
在创建任务页面中配置异常数据存储信息。 表1 异常数据存储信息 参数 配置说明 集成应用 选择OBS数据源所属的集成应用。 源端数据类型 当前仅支持选择“OBS”。 数据源名称 选择已配置的OBS数据源。 Path 填写异常数据要存储到OBS数据源的对象名。Path的值不能以斜杠(/)结尾。 配置完成后,若
待提取图片暗水印的图片地址,当前只支持OBS对象,格式为 obs://bucket/object ,其中bucket为和当前项目处于同一区域的OBS桶名称,object为对象全路径名。例如:obs://hwbucket/hwinfo/hw.png,其中obs://表示OBS存储,hwbucket为桶名,hwinfo/hw
等待所有follower是否成功写入。如果follower没有成功备份数据,而此时leader又无法提供服务,则消息会丢失。 acks=all:这意味着leader需要等待所有备份都成功写入日志,只要任何一个备份存活,数据都不会丢失。 retries 0 结合实际业务调整 客户端
"server": "OBS", "x-obs-bucket-location": "cn-north-7", "x-obs-id-2": "32AAAQAAEAABAAAQAAEAABAAAQAAEAABCSbOSbK+ncLEgZnxffa8vFPuDgVIt7n9", "x-obs-request-id":
获取图片方式为“URL路径”时,此处填写图片的URL路径。 目前支持: 公网HTTP/HTTPS URL。 华为云OBS提供的URL,使用OBS数据需要进行授权。包括对服务授权、临时授权、匿名公开授权。详情参见配置OBS服务的访问权限。 置信度 置信度的阈值(0~1),低于此置信数的标签,将不会返回。 标签数
填写需要写入的文件名。 写入内容 填写需要写入的内容。 写入策略 选择需要写入的策略 覆写:覆盖同名文件内容; 追加:在同名文件末尾追加内容; 备份:备份同名文件,后缀为执行时间。 父主题: 其他