检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
存储过程调用 当前数据API不支持直接创建存储过程,但是可以执行MySQL、Oracle、PostgreSQL这三种数据源的存储过程,以Oracle数据库为例说明。 数据源说明 假设数据库里面有一张表,表结构如下建表语句所示: create table sp_test(id number
FDI通过公网对接其他租户的MRS HIVE如何配置? 首先需要将MRS的IP全部绑定EIP,然后在MRS配置文件中的私网IP全部替换成EIP,再到hdfs-site.xml文件中添加一个配置项“dfs.client.use.datanode.hostname”,值设为“true”。
Java SDK使用说明 操作场景 使用Java语言进行后端服务签名时,您需要先获取SDK,然后导入工程,最后参考校验后端签名示例校验签名是否一致。 Java SDK仅支持hmac和basic类型的后端服务签名。 前提条件 已ROMA Connect控制台创建签名密钥,并绑定API,具体请参见配置后端服务的签名校验。
Python SDK使用说明 操作场景 使用Python语言进行后端服务签名时,您需要先获取SDK,然后导入工程,最后参考校验后端签名示例校验签名是否一致。 Python SDK仅支持hmac类型的后端服务签名。 前提条件 已在控制台创建签名密钥,并绑定API,具体请参见配置后端服务的签名校验。
RabbitMqProducer类说明 路径 com.roma.apic.livedata.client.v1.RabbitMqProducer 说明 生产RabbitMQ消息。若发送消息没有异常,则消息发送成功;若发送消息抛出异常,则消息发送失败。 使用示例 用direct交换
附录:自定义后端的Swagger扩展定义 概述 ROMA Connect在Swagger原有定义的基础上,定义了特有的API定义项,即扩展定义,如认证方式、函数脚本定义等。本章节主要介绍自定义后端使用的扩展定义。 1:x-livedata-auth-type 含义:基于Swagg
附录:QuartZ Cron表达式配置说明 参数说明 数据集成任务支持使用QuartZ Cron表达式配置定时任务的调度计划。 QuartZ Cron表达式由6个部分组成,每个部分使用空格隔开。表达式中的六个部分从左到右代表的含义如下: 秒 分 时 日 月 周 具体参数如表1所示。
Python SDK使用说明 操作场景 使用Python语言调用APP认证的API时,您需要先获取SDK,然后新建工程,最后参考调用API示例调用API。 前提条件 已获取API的调用信息,具体请参见开发准备。 已安装开发工具和Python开发语言环境,具体请参见开发准备。 Py
C SDK使用说明 操作场景 使用C语言调用APP认证的API时,您需要先获取SDK,参考API调用示例调用API。 前提条件 已获取API的调用信息,具体请参见开发准备。 安装openssl库。 apt-get install libssl-dev 安装curl库。 apt-get
SapRfcConfig类说明 路径 com.roma.apic.livedata.config.v1.SapRfcConfig extends java.util.Properties 说明 与SapRfcClient配合使用,对sap客户端进行配置。 方法列表 返回类型 方法和说明
自定义数据源开发示例(实时任务) 操作场景 对于实时数据源,当前自定义连接器不支持直接接入,只能通过消息中转的方式进行接入。本章节以MQS数据源类型为例进行开发,示例使用Java语言进行开发,Demo代码参考RealtimeConnector.rar。 前提条件 准备装有1.8及以上版本JDK的Linux服务器。
ak 仅当“登录方式”选择“ak/sk”时需要配置。AK/SK是用户在云服务平台的长期身份凭证,您可以参考访问密钥获取AK/SK。 sk 仅当“登录方式”选择“ak/sk”时需要配置。AK/SK是用户在云服务平台的长期身份凭证,您可以参考访问密钥获取AK/SK。 密码 仅当“登录方式
配置任务完成后执行(可选) 概述 定时数据集成任务执行成功后,根据配置发送消息至Kafka或MRS Kafka。第三方平台(比如DataArts Studio)可以通过订阅Kafka或MRS Kafka获取消息,并根据实际需要选择是否执行数据抽取任务。 本章节介绍任务执行完成后,
配置SQL Server CDC 概述 CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为SQL Server数据库开启CDC功能。 前提条件
FDI任务只能采集单张表到单张表吗? 普通任务只能从源端的单个表采集到目标端单个表,组合任务可以配置多个表采集到多个表。 父主题: 数据集成普通任务
JSON2XMLHelper类说明 路径 com.huawei.livedata.util.JSON2XMLHelper 说明 提供Json与Xml之间的相互转换。 方法列表 返回类型 方法和说明 static String JSON2XML(String json, boolean
Java客户端使用说明 操作场景 本文介绍Java版本的Kafka客户端连接指导,并完成客户端连接以及消息生产与消费的相关示例。 前提条件 已获取MQS连接信息,具体请参见开发准备。 已安装开发工具和Java开发语言环境,具体请参见开发准备。 引入Kafka客户端 MQS基于Kafka社区版本1
Go客户端使用说明 操作场景 本文以Linux CentOS环境为例,介绍Go版本的Kafka客户端连接指导,包括Kafka客户端安装,以及生产、消费消息。 前提条件 已获取MQS连接信息,具体请参见开发准备。 已安装开发工具和Python开发语言环境,具体请参见开发准备。 引入Kafka客户端
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置,源端字段类型的长度超出目标端字段类型的长度限制,或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型
Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误 原因分析 从源端数据源视图中查看,视图定义语句使用了union,但是union两边字段编码不一致,须统一编码。 解决方案 建议使用CONVERT转换为统一编码,如:CONVERT