检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
properties文件中分区信息不一致时，会导致数据写入失败怎么解决？ 问题描述 当Hudi表属性和hoodie.properties文件中分区信息不一致时，会导致数据写入失败。 解决方案 执行如下spark-sql语句修改hoodie.properties文件信息。 call upda
CDM迁移作业的抽取并发数应该如何设置？ CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。 不同源端数据源的作业分片维度有所不同，因此某
CDM不同集群规格对应并发的作业数是多少？ CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。 不同源端数据源的作业分片维度有所不同，因此
String 集群绑定的公网地址。 trafficIp String 集群的内网地址。 trafficIpv6 String 集群的内网IPv6地址。 cluster_id String 集群ID。 表5 flavor 参数 参数类型 描述 id String 节点虚拟机的规格ID。 links
已购买包年包月的CDM套餐包，为什么还会产生按需计费的费用？ 请您先确认套餐包和实际的CDM集群是否具有相同区域和规格，如果非相同区域和规格，则无法使用套餐包。CDM集群规格和区域可以通过进入CDM主界面，进入“集群管理”，单击集群列表中的集群名称查看。 如果套餐包和实际的CDM集群
如何查看套餐包的剩余时长？ 套餐包的剩余时长需要在官网查询。 您可以进入华为云官网，在用户名下拉列表中选择“费用中心”，然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 父主题： 通用类
在创建迁移作业时，where语句参数中的时间格式是怎样的？ 问题描述 在创建迁移作业时，where语句参数中的时间格式是怎样的？ 解决方案 请参考Mysql日期、时间字段类型语法特性：https://dev.mysql.com/doc/refman/8.0/en/datetime
Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？ 建议使用的组件版本既可以作为目的端使用，也可以作为源端使用。 表1 建议使用的组件版本 Hadoop类型 组件 说明 MRS/Apache/FusionInsight HD Hive 暂不支持2.x版本，建议使用的版本： 1
套餐包到期未续订或按需资源欠费时，我的数据会保留吗？ 云服务进入宽限期/保留期后，华为云将会通过邮件、短信等方式向您发送提醒，提醒您续订或充值。保留期到期仍未续订或充值，存储在云服务中的数据将被删除、云服务资源将被释放。 宽限期：指客户的包周期资源到期未续订或按需资源欠费时，华为
查看Yarn任务，搜索Spark JDBC Server的Yarn任务，找到自己队列下Running Container大于1的任务，查看ApplicationMaster，单击SQL页签，可以看到正在执行的SQL，单击Stages页签，可以看到每条SQL的执行进度。 CDM在作业BOOTING阶
区域。 资源的价格 不同区域的资源价格可能有差异，请参见华为云服务价格详情。 如何选择可用区？ 是否将资源放在同一可用区内，主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力，建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低，则建议您将资源创建在同一可用区内。
CDM集群Hive连接无法查询库和表的内容 问题描述 cdm集群hive连接无法查询到数据库和表的内容，手动配置库和表后字段可以显示，但报错hive 客户端初始化失败，无效的方案： get_table_req。 解决方案 用户的MRS集群是1.8.1，CDM为2.6.0。 报错看CDM封装的Hive SDK无法识别Hive数据源，
如何使用Java调用CDM的Rest API创建数据迁移作业？ CDM提供了Rest API，可以通过程序调用实现自动化的作业创建或执行控制。 这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例，介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。
取决于源端数据源的性能。 如需优化，请参见源端数据源的相关说明文档。 网络带宽 CDM集群与数据源之间可以通过内网、公网VPN、NAT或专线等方式互通。 通过内网互通时，网络带宽是根据不同的CDM实例规格的带宽限制的。 cdm.large实例规格CDM集群网卡的基准/最大带宽为0
通过json方式导入的作业，sql server迁移到hive，执行作业报错 问题描述 客户通过json的方式导入作业，从sql server迁移数据到hive，执行作业报：操作数数据类型bit 对min 运算无效。 图1 报错信息 故障分析 客户作业中配置的并发数大于1，CDM
作业从旧集群导出，再导入到新的集群失败怎么解决？ 问题描述 旧CDM集群是2.6.0版本，新集群是2.8.6.1版本，导入作业报错如下图所示。 原因分析 初步怀疑是新老集群部分参数修改不兼容导致的，通过查看老集群导出的作业json文件，包含throttlingConfig.con
sql，则多半是队列资源限制，打开yarn，搜索租户的队列，查看Spark2x-JDBCServer2x的yarn任务，此时可能会搜索不到yarn任务，或者State为ACCEPTED，这两种情况都是资源不足起不了yarn任务的现象。打开yarn的schedule，查看队列资源，关注以下几个参数：
必须将CDM的VPC与DWS配置一致，且推荐在同一个内网和安全组，如果不同，还需要配置允许两个安全组之间的数据访问。 端口映射不仅可以用于迁移内网数据库的数据，还可以迁移例如SFTP服务器上的数据。 Linux机器也可以通过IPTABLE实现端口映射。 内网中的FTP通过端口映
partitionpath.field配置的列在源端数据中是否存在空值。 可能数据倾斜导致executor使用内存超出限制，具体原因需要联系MRS定位。Yarn Application ID可以从日志中获取，日志搜索“Yarn Application Id”关键字，查询离报错信息最近的Yarn Application
CDM作业可以将源表中的字段注释迁移到目标端表吗？ 问题描述 CDM作业可以将源表中的字段注释迁移到目标端表吗？ 解决方案 不同版本支持的情况不一样。 具体如下： 2.8.6.1版本支持，2.9.1版本不支持，2.9.2.1版本支持。 父主题： 功能类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
