检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
特别的,对于DWS、MRS Hive和MRS Spark数据源,如果使用一套相同的集群,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离。
字段映射界面无法显示所有列怎么处理? CDM迁移数据到DWS时如何选取分布列? 迁移到DWS时出现value too long for type character varying怎么处理?
在“映射配置”页签,单击“新建映射”,配置映射参数。 图3 配置映射 表3 映射参数 参数名称 说明 *映射名称 只能包含中文、英文字母、数字和下划线。 *来源模型 在下拉列表中选择一个已创建的关系模型。如果未创建关系模型,请参见关系建模进行创建。
源表与目标表映射:Oracle为源端时,暂不支持迁移CLOB、NCLOB和BLOB类型。 图3 配置源表与目标表映射 Hudi表必须设置“同步主键”,在源端为非主键表时,必须在字段映射阶段手动勾选主键。
源表与目标表映射: 图3 配置源表与目标表映射 Hudi表必须设置“同步主键”,在源端为非主键表时,必须在字段映射阶段手动勾选主键。 表属性编辑:单击操作列“表属性编辑”可配置Hudi表属性,包含表类型,分区类型及表自定义属性。
配置空间权限集 在数据访问权限管理的实际场景下,通常会有一级部门、二级部门、三级部门等多级权限的划分。为此,数据安全组件提供了自上而下分层式的数据权限管理方式。您可以通过空间权限集配置工作空间内的最大权限,在此基础上,将其向下拆分出新的子权限集,提供进一步的细分权限管理。 空间权限集作为
图10 批量导入规则模板 在弹出的导入窗口中,选择从旧空间导出的规则模板文件,然后选择目录的映射路径,“重名处理策略”默认选择“终止”,最后单击“导入”。 图11 规则模板导入 在导入记录中,可查看导入状态,显示为成功后即成功导入。
单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 单击“下一步”配置任务参数,一般情况下全部保持默认即可。
单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图7所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。
单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图5所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。
源表与目标表映射: 图3 配置源表与目标表映射 单表高级配置:单击“单表高级配置”为列表中的topic配置对应属性。 auto-compaction:数据会先被写入临时文件,当checkpoint完成后,该配置控制检查点产生的临时文件是否被合并。
图8 源端高级属性 单击“下一步”后,请参考以下说明配置字段映射,如图9所示,配置完成后,单击“下一步”。 字段映射:在本示例中,由于数据迁移的目标表字段顺序和原始数据的字段顺序是一样的,因此这里不需要调整字段映射的顺序。
单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图5所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。
迁移作业源端为MRS Kafka时,字段映射不支持自定义字段。 迁移作业源端为DMS kafka时,字段映射支持自定义字段。
配置目录的映射资源信息,选择导入后的规则模板存储目录。如不选择,默认使用原映射资源信息。 图11 配置映射资源信息 单击“导入”,将填好的Excel表格模板导入到系统。 单击“导入记录”页签,可查看对应的导入记录。 父主题: 数据质量监控
单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图5所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容,详细请参见字段转换。
公网域名支持添加主域名及主域名的子域名,即最多支持添加二级域名,例如abc.example.com。 父主题: 开发数据服务API
配置权限集 在数据访问权限管理的实际场景下,通常会有一级部门、二级部门、三级部门等多级权限的划分。为此,数据安全组件提供了自上而下分层式的数据权限管理方式。您可以通过空间权限集配置工作空间内的最大权限,在此基础上,将其向下拆分出新的子权限集,提供进一步的细分权限管理。 权限集本质上是将用户与权限直接关联
*子表字段 输入关系中子表的字段英文名,该字段应为子表的外键,映射为父表的主键。 *子对父 子表对父表的映射关系,可以有以下四种取值: 1:表示每条子表数据在父表中有且只有一条数据与之对应。 0,1:表示每条子表数据在父表中最多有一条数据与之对应。
在“映射”页面,单击“新建”新建映射,创建完成后单击“保存”。映射指的是给两个逻辑实体(源逻辑实体和目的逻辑实体)建立起属性的对应关系。 图6 新建映射 映射名称:新建映射时会自动生成,用户可以手动修改。