检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DWS变成只读状态导致FDI任务运行失败 原因分析 在DWS磁盘空间达到阈值,例如80%,或者某些大数据量的表存在数据倾斜时,DWS集群会变为只读状态。从FDI侧来看,在某个时间点,所有访问DWS的任务均异常停止。 解决方案 处理DWS只读状态问题,恢复数据库服务后,如果FDI的
Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 创建集成应用。 在左侧的导航栏选择“集成应用”,单击页面右上角的“创建集成应用”。 在创建集成应用弹窗中填写集成应用的“名称”,然后单击“确认”。 在左侧的导航栏选择“服务集成 APIC > 自定义后端
CacheUtils类说明 路径 com.huawei.livedata.lambdaservice.util.CacheUtils 说明 提供缓存的存储和查询功能。 使用示例 在使用CacheUtils之前,需要new一个新对象方可调用。 CacheUtils的get方法只允许使用白名单里的几项作为键:
AesUtils类说明 路径 com.roma.apic.livedata.common.v1.AesUtils 说明 提供AES加解密方法。 使用示例 加密示例 importClass(com.roma.apic.livedata.common.v1.AesUtils); function
配置Oracle CDC(XStream) 概述 CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 ROMA Connect支持Oracle的XStream和
配置Oracle CDC(LogMiner) 概述 CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 ROMA Connect支持Oracle的XStream
FDI通过公网对接其他租户的MRS HIVE如何配置? 首先需要将MRS的IP全部绑定EIP,然后在MRS配置文件中的私网IP全部替换成EIP,再到hdfs-site.xml文件中添加一个配置项“dfs.client.use.datanode.hostname”,值设为“true”。
来传给后续的filter和controller。包装类的具体实现可见RequestWrapper.java。 RequestWrapper request = new RequestWrapper((HttpServletRequest) servletRequest); 使用正
APIConnectResponse类说明 路径 com.roma.apic.livedata.provider.v1.APIConnectResponse 说明 在execute函数中返回此类对象,可以指定调用函数API接口返回的HTTP状态码、返回头和body体。 使用示例 1
RabbitMqProducer类说明 路径 com.roma.apic.livedata.client.v1.RabbitMqProducer 说明 生产RabbitMQ消息。若发送消息没有异常,则消息发送成功;若发送消息抛出异常,则消息发送失败。 使用示例 用direct交换
4:x-livedata-roma-app 含义:自定义后端绑定的集成应用。 作用域:Operation Object 示例: paths: '/path': get: x-livedata-roma-app: 'romaAppName' 表4 参数说明 参数
附录:QuartZ Cron表达式配置说明 参数说明 数据集成任务支持使用QuartZ Cron表达式配置定时任务的调度计划。 QuartZ Cron表达式由6个部分组成,每个部分使用空格隔开。表达式中的六个部分从左到右代表的含义如下: 秒 分 时 日 月 周 具体参数如表1所示。
Python SDK使用说明 操作场景 使用Python语言调用APP认证的API时,您需要先获取SDK,然后新建工程,最后参考调用API示例调用API。 前提条件 已获取API的调用信息,具体请参见开发准备。 已安装开发工具和Python开发语言环境,具体请参见开发准备。 Py
sig_str_t app_key = sig_str(getenv("HUAWEICLOUD_SDK_AK")); sig_str_t app_secret = sig_str(getenv("HUAWEICLOUD_SDK_SK")); params.key = app_key; params
函数后端脚本开发说明 开发说明 函数后端通过编写函数脚本实现将多个服务封装成一个服务,在实际开发前请务必提前了解自定义后端开发要求。 函数后端当前仅支持使用JavaScript编写函数,JavaScript引擎运行于Java虚拟机,可调用ROMA Connect提供的Java类实现具体功能。
SapRfcConfig类说明 路径 com.roma.apic.livedata.config.v1.SapRfcConfig extends java.util.Properties 说明 与SapRfcClient配合使用,对sap客户端进行配置。 方法列表 返回类型 方法和说明
配置SQL Server CDC 概述 CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为SQL Server数据库开启CDC功能。 前提条件
Kafka:表示任务完成后发送消息至MRS Kafka。 FDI任务:FDI任务结束后,支持同时自动手工调度最多五个其它普通定时任务。 应用 选择对应的集成应用。 数据源 根据“执行动作”选择的数据源类型,选择相同类型数据源。 例如执行动作选择的是“发送消息至Kafka”,此处数据源则选择“Kafka”。
部署Filebeat和ELK 部署Filebeat 登录SHUBAO组件所在节点,切换root用户。 执行以下命令对filebeat.yml文件进行授权。 cd /filebeat sudo chown root filebeat.yml 执行以下命令启动Filebeat。 docker-compose
FDI任务只能采集单张表到单张表吗? 普通任务只能从源端的单个表采集到目标端单个表,组合任务可以配置多个表采集到多个表。 父主题: 数据集成普通任务