检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询版本规格 功能介绍 按版本ID查询所有兼容规格。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/datastores/{datastore_id}/flavors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
查询支持的版本 功能介绍 查询CDM集群支持的版本。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/datastores 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
Hadoop类型的数据源进行数据迁移时,建议使用的组件版本有哪些? 建议使用的组件版本既可以作为目的端使用,也可以作为源端使用。 表1 建议使用的组件版本 Hadoop类型 组件 说明 MRS/Apache/FusionInsight HD Hive 暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X
通过CDM从OBS迁移数据到DLI,同样的作业在新版本集群迁移失败? 问题描述 客户通过CDM从OBS迁移到DLI ,使用两个集群分别迁移,源端和目标端以及作业配置都一样,2.6.0版本的CDM集群作业可以迁移成功,2.8.6版本的集群迁移失败。报错作业日志如下图所示。 原因分析
查看并修改CDM集群配置 操作场景 CDM集群已经创建成功后,您可以查看集群基本信息,并修改集群的配置。 查看集群基本信息: 集群信息:集群版本、创建时间、项目ID、实例ID和集群ID等。 节点配置:集群规格、CPU和内存配置等信息。 网络信息:网络配置。 支持修改集群的以下配置:
[throttlingConfig.concurrentSubJobs] 不存在”。 原因分析 当同时存在多个不同版本的集群,先在低版本CDM集群创建数据连接或保存作业时后,再进入高版本CDM集群时,会偶现此类故障。 解决方案 需手动清理浏览器缓存,即可避免此类问题。 父主题: 故障处理类
CDM作业可以将源表中的字段注释迁移到目标端表吗? 问题描述 CDM作业可以将源表中的字段注释迁移到目标端表吗? 解决方案 不同版本支持的情况不一样。 具体如下: 2.8.6.1版本支持,2.9.1版本不支持,2.9.2.1版本支持。 父主题: 功能类
作业从旧集群导出,再导入到新的集群失败怎么解决? 问题描述 旧CDM集群是2.6.0版本,新集群是2.8.6.1版本,导入作业报错如下图所示。 原因分析 初步怀疑是新老集群部分参数修改不兼容导致的,通过查看老集群导出的作业json文件,包含throttlingConfig.concur
Datastore 参数 是否必选 参数类型 描述 type 否 String 类型,一般为cdm。 version 否 String 集群版本。 表8 ExtendedProperties 参数 是否必选 参数类型 描述 workSpaceId 否 String 工作空间ID。 resourceId
使用快照保证数据不变,然后再迁移并恢复。 约束限制 本方案仅支持迁移数据到MRS 1.x版本集群,2.x及之后版本无法通过HBase修复命令重建HBase表。 迁移的目标集群为2.x及之后版本时,HBase修复命令已经不再支持,通过HBase数据目录迁移的方式无法使用。 使用命令恢复历史不变的数据
在云审计服务控制台,默认展示事件列表,您可以通过筛选来查询对应的操作事件。 其中,CDM的操作事件您可以在“事件来源”中筛选“CDM”进行查看。 图1 CDM操作事件 在需要查看的事件左侧,单击事件名称左侧箭头,展开该记录的详细信息。 在需要查看的记录右侧,单击“查看事件”,弹窗中显示了该操作事件结构的详细信息。
CDM集群可以关机吗? 2.9.1.200版本以后的集群已不支持集群定时关机、自动开关机功能。 父主题: 通用类
CDM集群是否支持升级操作? CDM集群目前不支持升级操作,如果需要使用高版本集群则需要重新创建。 父主题: 通用类
在CDM监控页面,可查看所有监控指标的小图。 图1 查看监控指标 单击小图右上角的,可进入大图模式查看。 您可以在左上角选择时长作为监控周期,查看一段时间的指标变化情况。 父主题: 管理并查看CDM监控指标
批量运行作业 批量删除作业 批量导出作业 批量导入作业 批量导出、导入作业的功能,适用以下场景: CDM集群间作业迁移:例如需要将作业从老版本集群迁移到新版本的集群。 备份作业:例如需要将CDM集群停掉或删除来降低成本时,可以先通过批量导出把作业脚本保存下来,仅在需要的时候再重新创建集群和重新导入作业。
代码“0”改动、数据“0”丢失迁移上云。 约束限制 本方案仅支持迁移数据到MRS 1.x版本集群,2.x及之后版本无法通过HBase修复命令重建HBase表。 迁移的目标集群为2.x及之后版本时,HBase修复命令已经不再支持,通过HBase数据目录迁移的方式无法使用。 迁移方案
查看审计日志 如何查看审计日志 支持云审计的关键操作
迁移准备 前提条件 CDH HBase的版本号小于或等于MRS HBase的版本号。 待迁移的表在迁移过程中不能有写入,Split,Merge等操作。 使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小,用于后续校验。
Cassandra连接参数说明 2.9.3.300以上版本不支持Cassandra。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 Cassandra连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接