检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接入OBS数据源 概述 ROMA Connect支持把OBS(对象存储服务)作为一个数据源,并用于数据集成任务。在使用OBS数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 操作步骤
Java SDK使用说明 操作场景 使用Java语言调用APP认证的API时,您需要先获取SDK,然后新建工程或导入工程,最后参考调用API示例调用API。 图1 调用流程 前提条件 已获取API的调用信息,具体请参见开发准备。 已安装开发工具和Java开发语言环境,具体请参见开发准备。
OBS数据源测试连接失败 原因分析 可能是以下两种原因导致: 数据源地址未配置为Endpoint地址。 AK/SK和桶名称不正确。 解决方案 修改地址为Endpoint地址。 填写正确的AK/SK和桶名称。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。
因为从OBS获取多个文件默认按照时间降序排序,先解析最晚上传的文件,所以最早上传的文件最后解析,这样就会导致任务执行结束后,数据库中的值还是最早上传的文件中的值。 父主题: 数据集成普通任务
对象存储服务 对象存储服务连接器用于对接华为云对象存储服务。 对象存储服务(Object Storage Service,简称OBS)是一个基于对象的海量存储服务,为您提供海量、安全、高可靠、低成本的数据存储能力。 创建对象存储服务连接 登录新版ROMA Connect控制台。
返回类型 方法和说明 static java.lang.String decode(java.lang.String content) 对字符串进行Base64解码 static java.lang.String decodeUrlSafe(java.lang.String content)
运行示例工程,查看消息生产与消费样例。 消息生成与消费的Main方法在RestMain.java中,以Java Application的方式运行即可。 示例代码解读 工程入口: 工程入口在RestMain.java文件中。 public class RestMain { private
Java SDK使用说明 操作场景 使用Java语言进行后端服务签名时,您需要先获取SDK,然后导入工程,最后参考校验后端签名示例校验签名是否一致。 Java SDK仅支持hmac和basic类型的后端服务签名。 前提条件 已ROMA Connect控制台创建签名密钥,并绑定API,具体请参见配置后端服务的签名校验。
华为云服务 函数工作流 短信服务 消息通知 对象存储服务 数据安全中心 图像识别 文字识别 人脸识别 CodeArts Artifact CodeArts Build CodeArts Check CodeArts Deploy CodeArts Req CodeArts Pipeline
import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; import java.net.URL;
公网HTTP/HTTPS URL。 华为云OBS提供的URL,使用OBS数据需要进行授权。包括对服务授权、临时授权、匿名公开授权。详情参见配置OBS服务的访问权限。 置信度 置信度的阈值(0~1),低于此置信数的标签,将不会返回。 父主题: 华为云服务
数据集成普通任务 FDI各类数据库支持哪些数据类型? 跟踪号是什么,能跟踪到数据吗? FDI任务是否支持清空目标表? FDI任务只能采集单张表到单张表吗? 用户创建的FDI任务,同一账号的其他用户可见吗? FDI通过公网对接其他租户的MRS HIVE如何配置? 从OBS解析文件到R
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
返回类型 方法和说明 static java.lang.String decrypt(java.lang.String encryptText, java.lang.String secretKey) 使用密钥对密文进行AES解密。 static java.lang.String encrypt(java
待提取图片暗水印的图片地址,当前只支持OBS对象,格式为 obs://bucket/object ,其中bucket为和当前项目处于同一区域的OBS桶名称,object为对象全路径名。例如:obs://hwbucket/hwinfo/hw.png,其中obs://表示OBS存储,hwbucket为桶名,hwinfo/hw
前了解自定义后端开发要求。 函数后端当前仅支持使用JavaScript编写函数,JavaScript引擎运行于Java虚拟机,可调用ROMA Connect提供的Java类实现具体功能。 脚本开发应基于内置推荐的加密算法,不建议用户自行实现。 公共配置引用 自定义后端支持添加变量
“上次成功执行任务的时间” 且 endTime <= “当前任务执行时间” 的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启:开启后,增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭:关闭时,增量迁移时每次调度的开始时间为上一次调度的结束时间。
支持的动作 修改任务规则集 任务配置高级选项 查询任务检查失败日志 任务配置屏蔽目录 查询任务的高级选项 新建检查任务 查询任务规则集的检查参数 任务配置检查参数 设置每个项目对应语言的默认规则集配置 创建自定义规则集 查询规则集列表 查看规则集的规则列表 查询任务的已选规则集列表
以自定义数据源作为源端,MySQL作为目标端为例创建定时任务。 参考创建数据集成任务(普通任务)接入源端自定义数据源和目标端MySQL数据源,并创建定时任务。完成后运行任务,可以将源端自定义的数据源中的数据,迁移到MySQL数据源的表中。 执行任务后,FDI会根据自定义连接实例定义的连接地址(http://127
CodeArts IDE Online CodeArts IDE Online连接器用于对接华为云CodeArts IDE Online服务。 华为云CodeArts IDE Online是云开发环境服务,开发者通过浏览器访问即可极速获取云端开发环境,支持编码、调试、运行、预览,还可访问