检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件/路径过滤器 参数位置:在创建表/文件迁移作业时,如果源端数据源为文件类型,那么源端作业参数的高级属性中可以看到“过滤类型”参数,该参数可选择:通配符或正则表达式。
文件/路径过滤器 参数位置:在创建表/文件迁移作业时,如果源端数据源为文件类型,那么源端作业参数的高级属性中可以看到“过滤类型”参数,该参数可选择:通配符或正则表达式。
数据目录目前支持采集数据湖的资产,例如MRS Hive、DLI、DWS等,除此之外也支持采集以下数据源的元数据: 关系型数据库,如MySQL/PostgreSQL等(可使用RDS类型连接,采集其元数据) 云搜索服务CSS 图引擎服务GES 对象存储服务OBS MRS Hudi组件(
当新建随机脱敏或字符替换类型的脱敏算法时,可以选择将敏感数据脱敏为样本库文件中的值。 本章主要介绍如何创建样本。 前提条件 已在OBS或HDFS中上传样本文件。
1 在DWS端自动建表时的字段类型映射 CDM在数据仓库服务(Data Warehouse Service,简称DWS)中自动建表时,DWS的表与源表的字段类型映射关系如图1所示。
发布脚本任务 在企业模式中,开发者提交脚本版本后,系统会对应产生一个脚本类型的发布任务。开发者确认发包后,待拥有管理员、部署者、DAYU Administrator、Tenant Administrator权限的用户审批通过,然后将修改后的脚本同步到生产环境。
通过筛选“节点类型 > CDMJob”可以查询CDMJob节点算子的调度执行信息。 图1 批作业监控 父主题: 数据开发
高级搜索功能: 您在查看报告时,可以使用搜索操作,高级搜索提供了根据集群、策略名称、用户、用户组、策略类型、策略状态来搜索相关策略的功能。您只需单击权限报告页面右上角的“高级搜索”即可弹出搜索框。
加密:支持所有类型,使用所选的数据源加密算法为对应数据源的数据进行加密。 置空:支持所有类型,将值设置为null。 随机脱敏:支持日期类型和数值类型随机脱敏,将日期或数值脱敏为指定区间范围之内或样本库中的值。新建样本库的请参考管理样本库章节。
选择数据连接类型:源端选DMS Kafka,目的端选OBS。 图1 选择数据连接类型 选择集成作业类型:同步类型默认为实时,同步场景包含单表、整库场景。 图2 选择集成作业类型 同步场景相关介绍请参见同步场景。
选择数据连接类型:源端选Oracle,目的端选DWS。 图1 选择数据连接类型 选择集成作业类型:同步类型默认为实时,同步场景包含整库场景。 图2 选择集成作业类型 同步场景相关介绍请参见同步场景。
选择数据连接类型:源端选Apache_Kafka,目的端选MRS_Kafka。 图1 选择数据连接类型 选择集成作业类型:同步类型默认为实时,同步场景仅支持整库场景。 图2 选择集成作业类型 同步场景相关介绍请参见同步场景。
选择数据连接类型:源端选MySQL,目的端选DWS。 图1 选择数据连接类型 选择集成作业类型:同步类型默认为实时,同步场景包含整库和分库分表场景。 图2 选择集成作业类型 同步场景相关介绍请参见同步场景。
选择数据连接类型:源端选MySQL,目的端选DMS Kafka。 图1 选择数据连接类型 选择集成作业类型:同步类型默认为实时,同步场景包含整库和分库分表场景。 图2 选择集成作业类型 同步场景相关介绍请参见同步场景。
选择数据连接类型:源端选Oracle,目的端选Hudi。 图2 选择数据连接类型 选择集成作业类型:同步类型默认为实时,同步场景包含整库场景。 图3 选择集成作业类型 同步场景相关介绍请参见同步场景。
选择数据连接类型:源端选SQLServer,目的端选Hudi。 图3 选择数据连接类型 选择集成作业类型:同步类型默认为实时,同步场景包含整库场景。 图4 选择集成作业类型 同步场景相关介绍请参见同步场景。
选择数据连接类型:源端选PostgreSQL,目的端选DWS。 图1 选择数据连接类型 选择集成作业类型:同步类型默认为实时,同步场景包含整库和分库分表场景。 图2 选择集成作业类型 同步场景相关介绍请参见同步场景。
选择数据连接类型:源端选MySQL,目的端选Hudi。 图2 选择数据连接类型 选择集成作业类型:同步类型默认为实时,同步场景包含整库和分库分表场景。 图3 选择集成作业类型 同步场景相关介绍请参见同步场景。
预设数据集成、计算&分析、资源管理、数据监控、其他等多种任务类型,通过任务间依赖完成复杂数据分析处理。 支持多种作业调度方式。 支持导入和导出作业。 支持作业状态运维监控和作业结果通知。 提供编辑锁定能力,支持多人协同开发场景。
图1 创建整库迁移作业 配置源端作业参数,根据待迁移的数据库类型配置对应参数,如表1所示。