正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置CDM作业消息体 编辑“CDM作业消息体”。 由于源表有三个,分别为mail001、mail002、mail003,因此需要将作业JSON中的“fromJobConfig.tableName”属性值配置为“mail${num}”,即源表名是通过参数配置。如下图所示: 图7 编辑JSON
String 默认可用区。 availableZones Array of CdmClusterAvailabilityZone objects 可用区。 表4 CdmClusterAvailabilityZone 参数 参数类型 描述 availableZoneId String
启动、停止等操作,这里主要介绍作业的查看和修改。 查看 查看作业状态 作业状态有New,Pending,Booting,Running,Failed,Succeeded,stopped。 其中“Pending”表示正在等待系统调度该作业,“Booting”表示正在分析待迁移的数据。
要排队等待。 submit task attempt_local1847334969_1748_m_000003_0, current waiting task number for job job_local1847334969_1748 is : 4 可能有如下原因 集群并发数到达上限
队列剩余资源。 问题排查1:查看Yarn任务,搜索Spark JDBC Server的Yarn任务,找到自己队列下Running Container大于1的任务,查看ApplicationMaster,单击SQL页签,可以看到正在执行的SQL,单击Stages页签,可以看到每条SQL的执行进度。
的执行状态。作业状态为Succeeded即迁移成功。 图1 作业状态 作业状态有New,Pending,Booting,Running,Failed,Succeeded,stopped。 其中“Pending”表示正在等待系统调度该作业,“Booting”表示正在分析待迁移的数据。
publicEndpointDomainName String 集群绑定的EIP域名 bakExpectedStartTime String 开始时间 bakKeepDay Integer 保留时间 maintainWindow maintainWindow object 维护窗口
迁移时已选择表不存在时自动创表,提示“CDM not support auto create empty table with no column”怎么处理? 这是由于数据库表名中含有特殊字符导致识别出语法错误,按数据库对象命名规则重新命名后恢复正常。 例如,DWS数据仓库中的数
集群快照进度,例如:29% REPAIRING String 修复集群进度,例如:29% 表14 FailedReasons 参数 参数类型 描述 CREATE_FAILED CREATE_FAILED object 集群创建失败原因。 表15 CREATE_FAILED 参数 参数类型 描述
if(msg.contains("\"status\":\"SUCCEEDED\"")){ System.out.println("Job succeeded"); break; }else if (msg.contains("\"status\":\"FAILED\"")){ System
BOOTING:启动中。 FAILURE_ON_SUBMIT:提交失败。 RUNNING:运行中。 SUCCEEDED:成功。 FAILED:失败。 UNKNOWN:未知。 NEVER_EXECUTED:未被执行 error-details String 错误详情,当“status”为“FAILED”时才有此字段。
BOOTING:启动中。 FAILURE_ON_SUBMIT:提交失败。 RUNNING:运行中。 SUCCEEDED:成功。 FAILED:失败。 UNKNOWN:未知。 NEVER_EXECUTED:未被执行 error-details String 错误详情,当“status”为“FAILED”时才有此字段。
public static void main(String[] args) { // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great
CDM集群Hive连接无法查询库和表的内容 问题描述 cdm集群hive连接无法查询到数据库和表的内容,手动配置库和表后字段可以显示,但报错hive 客户端初始化失败,无效的方案: get_table_req。 解决方案 用户的MRS集群是1.8.1,CDM为2.6.0。 报错看CDM封装的Hive
public static void main(String[] args) { // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great
public static void main(String[] args) { // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great
public static void main(String[] args) { // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great
public static void main(String[] args) { // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great
public static void main(String[] args) { // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great
新建SQL队列。 新建队列操作请参考创建队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail 导入前清空数据 选择导入前是否清空目的表的数据。 如果设置为是,任务启动前会清除目标表中数据。 否 空字符串作为null 如果设置为true,空字符串将作为null。