检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
KafkaProducer类说明 路径 com.roma.apic.livedata.client.v1.KafkaProducer 说明 生产Kafka消息。 使用示例 importClass(com.roma.apic.livedata.client.v1.KafkaProducer);
SapRfcClient类说明 路径 com.roma.apic.livedata.client.v1.SapRfcClient 说明 使用RFC方式访问SAP函数 使用示例 importClass(com.roma.apic.livedata.client.v1.SapRfcClient);
CipherUtils类说明 路径 com.huawei.livedata.lambdaservice.security.CipherUtils 说明 解密密码箱中密码的key值。 在获取解密密码箱中普通密码的key值时,注意敏感信息保护,避免敏感信息泄露。 方法列表 返回类型 方法和说明
expireTime, String value) 更新redis缓存内容、过期时间,返回执行结果 String put(String key, String value) 更新redis缓存内容,返回执行结果 Long remove(String key) 删除指定key值的缓存消息 方法详情
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符: alter table 表名set serdeproperties('field.delim'='分隔符') 父主题: 数据集成任务
Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误 原因分析 从源端数据源视图中查看,视图定义语句使用了union,但是union两边字段编码不一致,须统一编码。 解决方案 建议使用CONVERT转换为统一编码,如:CONVERT
Md5Utils类说明 路径 com.roma.apic.livedata.common.v1.Md5Utils 说明 计算Md5值。 使用示例 importClass(com.roma.apic.livedata.common.v1.Md5Utils); function execute(data)
FDI通过公网对接其他租户的MRS HIVE如何配置? 首先需要将MRS的IP全部绑定EIP,然后在MRS配置文件中的私网IP全部替换成EIP,再到hdfs-site.xml文件中添加一个配置项“dfs.client.use.datanode.hostname”,值设为“true”。
RabbitMqProducer类说明 路径 com.roma.apic.livedata.client.v1.RabbitMqProducer 说明 生产RabbitMQ消息。若发送消息没有异常,则消息发送成功;若发送消息抛出异常,则消息发送失败。 使用示例 用direct交换
多个数据源编排 一个数据API可以包含多个数据源,因此一次API请求可以涉及多个数据源,例如取第一个数据源查询结果作为第二个数据源的参数。 以MySQL为例说明,假设数据API有数据源1和数据源2,user01是数据源1的数据表和user02是数据源2的数据表,两张表的结构如下:
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点,其中两个节点ping不通API的IP。 解决方案 属于网络问题,需要找VPC定位。 父主题: 数据集成任务
Java开源客户端的版本使用请参见客户端版本使用建议。 根据实例的Kafka版本信息使用对应版本的客户端,此处以2.7.2版本客户端为例进行说明。 <dependency> <groupId>org.apache.kafka</groupId> <artifactId
Connect实例控制台的“实例信息”页面,在“MQS基本信息”下查看Kafka版本信息。Python开源客户端的版本使用请参见客户端版本使用建议。 执行以下命令,安装对应版本的Python Kafka客户端: pip install kafka-python==2.0.1 生产消息 SASL认证方式
Connect实例控制台的“实例信息”页面,在“MQS基本信息”下查看Kafka版本信息。Go开源客户端的版本使用请参见客户端版本使用建议。 执行以下命令,安装对应版本的Go Kafka客户端。 go get github.com/confluentinc/confluent-kafka-go/kafka
JSON2XMLHelper类说明 路径 com.huawei.livedata.util.JSON2XMLHelper 说明 提供Json与Xml之间的相互转换。 方法列表 返回类型 方法和说明 static String JSON2XML(String json, boolean
源端API类型数据源自定义周期如何设置? 创建FDI普通任务时,当源端数据源选择API类型并且开启增量迁移时,支持自定义周期,自定义周期配置详细说明可参照以下示例: 当粒度单位为“小时”时,分别有以下四种配置场景。 以时间点2020-11-05 22:10为例,如下图。 周期指定
MD5Encoder类说明 路径 com.huawei.livedata.lambdaservice.util.MD5Encoder 说明 计算Md5值。 方法列表 返回类型 方法和说明 static String md5(String source) 计算字符串的Md5值 方法详情
Connect实例控制台的“实例信息”页面,在“MQS基本信息”下查看Kafka版本信息。C#开源客户端的版本使用请参见客户端版本使用建议。 执行以下命令下载安装C#的Kafka依赖库。 dotnet add package -v 1.5.2 Confluent.Kafka 生产消息 SASL认证方式
使用JavaScript调用API报“{error_msg: "The API does not exist or has not been published in an environment",…}”错误 原因分析 可能是以下三种原因导致,请逐一排查: API未发布到环境。
其他语言客户端使用说明 MQS完全兼容Kafka开源客户端。 如果您使用其他语言,也可以从Kafka官网获取客户端,按照Kafka官网提供的连接说明,与MQS对接。 获取客户端的地址请参考Kafka官网。 父主题: MQS连接开发(开源客户端)