检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:
连接MRS Hudi时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 Hudi连接参数 参数名 说明 取值样例 名称 连接名称。 Hudilink Manager IP MRS Manager的浮动
如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 是否压缩 导入数据到DWS且选择自动创表时,用户可以指定是否压缩存储。 否 存储模式 导
可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:
可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:
CDM集群Hive连接无法查询库和表的内容 问题描述 cdm集群hive连接无法查询到数据库和表的内容,手动配置库和表后字段可以显示,但报错hive 客户端初始化失败,无效的方案: get_table_req。 解决方案 用户的MRS集群是1.8.1,CDM为2.6.0。 报错看CDM封装的Hive
中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框
如何降低CDM使用成本? 如果是迁移公网的数据上云,可以使用NAT网关服务,实现CDM服务与子网中的其他弹性云服务器共享弹性IP,可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下: 假设已经创建好了CDM集群(无需为CDM集群绑定专用弹性
在本地数据中心或ECS上自建的MySQL。本教程为您介绍如何创建MySQL连接器。 前提条件 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。 本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或
配置定时任务”,可选择在有效期内周期性启动作业,具体请参考配置CDM作业定时任务。 日志:选择作业操作列的“更多 > 日志”,可查看该作业最近的一次日志。 也可以在历史记录界面可查看作业所有的日志。 失败重试:选择作业操作列的“更多 > 失败重试”,可以对执行失败的作业,选择自动重试三次或者不重试。
可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:
可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:
这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例,介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。 需要提前准备以下数据: 云账号的用户名、账号名和项目ID。 创建一个CDM集群,并获取集群ID。 获取方法:在
nc-Failure:配置失败。 updated String 集群更新时间,格式为 ISO8601:YYYY-MM-DDThh:mm:ssZ。 status String 集群状态: 100:创建中。 200:正常。 300:失败。 303:创建失败。 800:冻结。 900:已关机。
pg_failed_job_rate 失败作业率 该指标为从物理机层面sqoop进程采集的失败作业率。 单位:%。 0.001%~100% CDM集群实例 1分钟 inodes_usage Inodes利用率 该指标为从物理机层面采集的磁盘inodes使用率,数据准确性低于从弹性云服务器内部采集的数据。
中测试连接失败。是什么原因? 作业配置表不存在时自动创建,目的端字段映射不出来怎么处理? 作业从旧集群导出,再导入到新的集群失败怎么解决? 迁移HDFS文件,报错无法获取块怎么处理? 创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理? CDM作业管理访问不了,提示网络或服务器访问异常怎么处理?
生效且作业会运行失败。 连接云搜索服务(CSS)时,相关参数如表1所示。 表1 云搜索服务(CSS)连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 css_link Elasticsearch服务器列表 配置为一个或
式为 ${varName},本示例参数为${cur_date},如图2所示。 图2 配置作业 不能在CDM迁移作业中配置“作业失败重试”参数,如有需要请在数据开发中的CDM节点配置“失败重试”参数。 创建并执行数据开发作业 在DataArts Studio控制台首页,选择对应工作
可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:
可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行: