检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
向DWS写入数据时越来越慢怎么解决 原因分析 查看界面上的采集数据,如果写入数据耗时在秒级,属于正常的情况。如果写入几千条数据超过5秒,一般是性能劣化的表现。 解决方案 如果对DWS的某个表频繁访问,会导致写入性能逐渐降低,需要对DWS进行调优,例如,定时使用analyze规划表、VACUUM
创建任务时,目标端存储类型选择与建表时类型不一致。 比如建表时存储类型为text(文本文件),而创建任务时目标端存储类型选择了RCFile格式。 解决方案 修改界面选择的存储类型与建表时一致即可。 父主题: 数据集成任务
“Appendtimestamp to MQTT client id?”选项被勾选。 解决方案 在MQTTBox客户端配置页面,检查MQTT Client Id、Host、Username和Password的配置是否有误。 将“Appendtimestamp to MQTT client id
需确保表映射正确。 Oracle产生的RedoLog中,UPDATE语句的字段中没有WHERE条件,导致缺少此字段的值,需添加UPDATE语句字段中的WHERE条件。 父主题: 数据集成组合任务
可能是以下三种原因导致,请逐一排查: API未发布到环境。 访问的URL与API详情中的URL不相同。 API使用OPTIONS跨域请求,API中未开启CORS,未创建OPTIONS方式的API。 解决方案 发布API到环境。 修改URL,使访问的URL与API详情中的URL保持一致,注意URL后如果少一个“/”也会导致无法匹配上此API。
失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的时间已经不在增量采集的时间段之内,所以部分数据采集不到。
一般情况下,中级机构颁发的证书文件包含多份证书,如包含服务器证书和证书链2个*.PEM格式的证书内容。在填写证书时,未把所有证书拼接在一起组成一份完整的证书。 解决方案 在填写证书时,需要将所有证书拼接在一起组成一份完整的证书后再填写。拼接时,须按照“服务器证书-证书链”的顺序进行拼接,具体方法如下:
跨系统业务数据集成与转换 方案概述 配置系统间数据集成
Hive数据源时,上传的配置文件中全部用的EIP,Hosts里面也配置好IP与Hostname,但是在上传文件时HDFS的Master节点返回的node节点的IP为内网IP,所以连接不通,导致FDI任务执行异常。 解决方案 修改在创建MRS Hive数据源时上传的hdfs-site.xml文件中,在hdfs-site
使用自定义后端开发自定义认证 方案概述 开发自定义认证 使用自定义认证
开放业务系统数据 方案概述 配置示例 父主题: 应用示例
可能是以下两种原因导致: MRS Hive的配置文件中使用的私网IP,私网IP与FDI数据面IP不通导致连接失败。 HDFS URL填写了根目录hdfs:///hacluster,机机交互用户名填写的用户不具备管理员权限导致连接失败。 解决方案 将MRS Hive的服务端机器绑定EIP,在配置
实现完整的API解决方案。 支持自定义API后端服务 ROMA Connect可自定义数据后端和函数后端两种后端服务: 数据后端:将数据源以API的形式对外开放,具体支持的数据源类型请参见APIC支持的数据源。 函数后端:将函数能力以API的形式对外开放。 支持可视化的API监控面板
在DWS磁盘空间达到阈值,例如80%,或者某些大数据量的表存在数据倾斜时,DWS集群会变为只读状态。从FDI侧来看,在某个时间点,所有访问DWS的任务均异常停止。 解决方案 处理DWS只读状态问题,恢复数据库服务后,如果FDI的任务停止时间没有超过6小时,可以直接启动任务。如果已经超过6小时,通道内的数据已经过期,需
Writer端写入数据时,先从Kafka通道的topic中消费数据,成功入库后才将消费偏移量提交给Kafka。如果写入数据时发生异常,将不会提交消费偏移量,等待修复问题后,重启任务,可以重新消费并处理未成功入库的数据。所以即使修改了任务配置,如果数据还是不符合目标端的要求,那么任务仍然执行失败。 解决方案 可参考以下三种方法进行处理:
APIC提供包括API的创建、发布、下线和删除的完整生命周期管理功能。 便捷调试工具 APIC提供页面调试工具,简化API开发,降低API的维护成本。 版本管理 一个API可以发布不同的版本到不同的环境,以满足业务版本升级等需求。 流量控制 用于管控API的请求频率、用户的请求频率和应用的请求频率。
实时:实时将源端产生的数据集成到目标端。 两种集成模式分别所支持的数据源类型请参见接入数据源。 支持自定义数据映射规则 在进行源端到目标端的数据字段转换时,您可以自定义映射规则,例如将源数据的一个数据列复制出相同的多列数据,再集成到目标端。 支持不同网络环境间的数据集成 源端数据与
搭建企业业务开放中台 方案概述 配置业务开放中台
企业数据以API形式开放共享 方案概述 通过数据API开放数据 通过函数API开放数据
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符: alter table 表名set serdeproperties('field.delim'='分隔符') 父主题: 数据集成任务