检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当Hudi表属性和hoodie.properties文件中分区信息不一致时,会导致数据写入失败怎么解决? 问题描述 当Hudi表属性和hoodie.properties文件中分区信息不一致时,会导致数据写入失败。 解决方案 执行如下spark-sql语句修改hoodie.properties文件信息。
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
MySQL数据迁移到MRS Hive分区表 MapReduce服务(MapReduce Service,简称MRS)提供企业级大数据集群云服务,里面包含HDFS、Hive、Spark等组件,适用于企业海量数据分析。 其中Hive提供类SQL查询语言,帮助用户对大规模的数据进行提取
Oracle数据迁移到DWS 操作场景 CDM支持表到表的迁移,本章节介绍如何通过CDM将数据从Oracle迁移到数据仓库服务(Data Warehouse Service,简称DWS)中,流程如下: 创建CDM集群并绑定EIP 创建Oracle连接 创建DWS连接 创建迁移作业
事务模式迁移 CDM的事务模式迁移,是指当CDM作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理:如果
OBS数据迁移到DLI服务 操作场景 数据湖探索(Data Lake Insight,简称DLI)提供大数据查询服务,本章节介绍使用CDM将OBS的数据迁移到DLI,使用流程如下: 创建CDM集群 创建DLI连接 创建OBS连接 创建迁移作业 前提条件 已经开通了OBS和DLI,并且当前用户拥有OBS的读取权限。
指定文件名迁移 从FTP/SFTP/OBS导出文件时,CDM支持指定文件名迁移,用户可以单次迁移多个指定的文件(最多50个),导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时,如果源端数据源为FTP/SFTP/OBS,CDM源端的作业参数“源目录或文件”支持输
CDM可以跨账户使用吗? CDM不支持跨账户使用,可以通过授权给同一账户IAM子用户使用。 IAM用户授权操作步骤如下: 创建用户组并授权 在IAM控制台创建用户组,并授予CDM集群只读权限“CDM ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。
写ES报timeout waiting for connection from pool错误怎么解决? 问题描述 写ES报timeout waiting for connection from pool,且日志中输出多个es_rejected_execution_exception。
事务模式迁移 CDM的事务模式迁移,是指当CDM作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理:如果
MySQL迁移时报错“JDBC连接超时”怎么办? 问题描述 MySQL迁移时报错:Unable to connect to the database server. Cause: connect timed out。 原因分析 这种情况是由于表数据量较大,并且源端通过where语
查看并修改CDM集群配置 操作场景 CDM集群已经创建成功后,您可以查看集群基本信息,并修改集群的配置。 查看集群基本信息: 集群信息:集群版本、创建时间、项目ID、实例ID和集群ID等。 节点配置:集群规格、CPU和内存配置等信息。 网络信息:网络配置。 支持修改集群的以下配置:
迁移文件时加解密 在迁移文件到文件系统时,CDM支持对文件加解密,目前支持以下加密方式: AES-256-GCM加密 KMS加密 AES-256-GCM加密 目前只支持AES-256-GCM(NoPadding)。该加密算法在目的端为加密,在源端为解密,支持的源端与目的端数据源如下。
区域和可用区 什么是区域、可用区? 我们用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用
支持云审计的关键操作 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster
设置CDM告警规则 操作场景 通过设置CDM集群告警规则,用户可自定义监控目标与通知策略,及时了解CDM集群运行状况,从而起到预警作用。 设置CDM集群的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置CDM集群告警规则的具体方法。
源端为MongoDB/DDS JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name":
管理集群标签 操作场景 CDM集群已经创建成功后,支持新增、修改及删除CDM集群的标签。使用标签可以标识多种云资源,后续在TMS标签系统或者CDM集群管理列表中可筛选出同一标签的云资源。 一个CDM集群最多可新增10个标签。 前提条件 已创建CDM集群。 操作步骤 登录CDM管理
DLI连接 介绍 通过DLI连接,可以导入数据到数据湖探索(DLI)服务,CDM暂不支持从DLI服务导出数据。 连接样例 { "links": [ { "link-config-values": { "configs":
Hudi源端的作业长时间处于BOOTING状态怎么解决? 问题描述 在Hudi源端读Hudi作业长时间处于BOOTING状态。 原因分析 除去Yarn队列资源问题,一般作业是卡在执行Spark SQL读Hudi写Hive临时表,这步执行的速度取决于Hudi表的数据量与Yarn队列剩余资源。