检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果之前执行过自动备份,“配置管理”页签下会显示备份列表:显示备份文件所在的OBS桶、路径、备份时间。 您可以单击备份列表操作列的“恢复备份”来恢复CDM作业。 作业参数的环境变量 CDM在创建迁移作业时,可以手动输入的参数(例如OBS桶名、文件路径等)、参数中的某个字段、或者字段中的某个字符,都支持配置为
您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间,更多表达式设置方式可以参考表达式转换。 父主题: 功能类
Redis数据库索引 Redis分库的索引标识。 Redis的分库,相当于关系型数据库中的database。分库总数可以在Redis配置文件中设置,默认是16个,分库名称是一个整数(0~15),不是一个字符串。 0 认证类型 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。
源目录或文件 “列表文件”选择为“否”时,才有该参数。 待迁移数据的目录或单个文件路径。 待迁移数据的目录,将迁移目录下的所有文件(包括所有嵌套子目录及其子文件)。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据
CDM迁移性能如何? 单个cdm.large规格实例理论上可以支持1TB~8TB/天的数据迁移,实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 父主题: 通用类
问题描述 Hive迁移作业长时间卡顿怎么办? 解决方案 为避免Hive迁移作业长时间卡顿,可手动停止迁移作业后,通过编辑Hive连接增加如下属性设置: 属性名称:hive.server2.idle.operation.timeout 值:10m 如图所示: 父主题: 故障处理类
次提交行数。 100 单击“保存”回到连接管理界面,完成MySQL连接器的配置。 如果保存时出错,一般是由于MySQL数据库的安全设置问题,需要设置允许CDM集群的EIP访问MySQL数据库。 父主题: 使用教程
次提交行数。 100 单击“保存”回到连接管理界面,完成MySQL连接器的配置。 如果保存时出错,一般是由于MySQL数据库的安全设置问题,需要设置允许CDM集群的EIP访问MySQL数据库。 父主题: 使用教程
0249 400 文件名%s无效。 文件名无效。 请将文件名修改正确后,再重试。 Cdm.0250 400 不能操作该路径:%s。 不能操作该路径。 请确认是否具有该路径的操作权限,或稍后重试。若无法解决,请联系客服或技术支持人员协助解决。 Cdm.0251 400 向HBase加载数据失败。原因:%s。
组件管理”。 单击“下载客户端”。“客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”或“远端主机”,自定义文件保存路径后,单击“确定”开始生成客户端配置文件。 将生成的配置文件,保存到本地路径。 具体可参见MapReduce服务文档。 针对MRS 3.x版本集群: 登录FusionInsight
HBase/CloudTable作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 表名 导出数据的HBase表名。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts
原因分析 在任务迁移时,导入数据前会先创建一个实际表名+阶段表后缀的阶段表,最终导致的作业异常。 解决方案 在作业配置高级属性将导入阶段表设置为否,这样就不会先导入阶段表。 缩短实际表的表名长度。 父主题: 故障处理类
写入数据的HBase表名。如果是创建新HBase表,支持从源端复制字段名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts
目的端是DLI的迁移作业执行成功后,显示迁移的数据条数和DLI表中查询的数量对不上,存在数据丢失。 原因分析 查看客户的作业配置,客户并发数设置的是3,如图所示。 查看DLI官网文档不建议同时对一张表并发插入数据。 解决方案 将作业的抽取并发数改成1 ,重跑作业问题解决。 父主题:
云数据迁移安全结论 访问控制 只有华为云统一身份认证服务(Identity and Access Management,简称IAM)授权的用户才能访问CDM控制台和API。推拉模式下,CDM在VPC上没有开放侦听端口,用户无法从VPC访问实例,具有高度的安全性。 数据传输安全 C
如果是导入到RDS上的MySQL数据库,由于RDS上的MySQL默认没有开启LOAD DATA功能,所以同时需要修改MySQL实例的参数组,将“local_infile”设置为“ON”,开启该功能。 说明: 如果RDS上的“local_infile”参数组不可编辑,则说明是默认参数组,需要先创建一个新的参数组,
作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称:选择创建MRS HDFS连接中的“hdfs_llink”。 源目录或文件:待迁移数据的目录或单个文件路径。 文件格式:传输数据时所用的文件格式,这里选择“二进制格式”。不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。
作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称:选择创建MRS HDFS连接中的“hdfs_llink”。 源目录或文件:待迁移数据的目录或单个文件路径。 文件格式:传输数据时所用的文件格式,这里选择“二进制格式”。不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。
根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用CDM资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将CDM资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。
CDM部署时通过物理区域划分,为项目级服务,需要在各区域(如华北-北京1)对应的项目(cn-north-1)中设置相关权限,并且该权限仅对此项目生效。如果需要所有区域都生效,则需要在所有项目都设置权限。访问CDM时,需要先切换至授权区域。 权限根据授权精细程度分为角色和策略。 角色:IAM最初