检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CD
单击左侧导航树中的“空间资源权限”,进入空间资源权限页面。 图1 进入空间资源权限页面 单击空间资源权限页面的“新建” ,在弹出的策略配置页参考表1配置相关参数,配置完成单击“保存”,策略配置完成。 表1 配置空间资源权限策略参数说明 参数名 参数描述 *策略名称 标识空间资源权限策略,为便于策略管理,建议名称中包含资源对象和授权对象。
Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CD
由于文本文件中无法用字符串定义null值,此配置项定义将何种字符串标识为null。 例如:如果配置为null,则数据中如果存在某行某列值为“null”,则会被解析为null值。 - MD5文件名后缀 文件格式为二进制格式时支持此参数。 校验CDM抽取的文件,是否与源文件一致。 .md5 父主题: 配置作业源端参数
基本参数 表名 导出数据的HBase表名。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发
创建并配置简单模式工作空间 创建简单模式工作空间 设置工作空间配额 (可选)修改作业日志存储路径 父主题: 购买并配置DataArts Studio
录页面。 选择“数据权限 > 数据目录权限”,单击“新建”,配置数据目录权限规则。 规则名称:设置数据权限规则的名称。 类型:当前支持从标签、密级和分类的维度进行过滤筛选。 范围:选择实际的标签、密级和分类。 用户:配置的数据目录权限规则所适配的用户。 生效:打开,表示该数据目录权限规则生效。反之,不生效。
待迁移数据的目录,将迁移目录下的所有文件(包括所有嵌套子目录及其子文件)。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发
Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CD
选择“数据安全 > 脱敏策略”,在“脱敏策略”页面中,单击“新建”。 绑定分类规则,配置脱敏算法并适配对应的算法类型。脱敏算法包含掩码,截断和哈希。每种脱敏算法对应多种算法类型,请根据产品界面进行选择,这里不再赘述。配置完成后单击“确定”。 已被绑定脱敏算法的分类规则不支持被重复绑定。 图1
配置Redis源端参数 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 redis键前缀 对应关系数据库的表名。 TABLENAME 值存储类型 存储类型分STRING、HASH。 STRING 高级属性 键分隔符 用来分隔关系数据库的表和列名。
配置MRS Hudi源端参数 作业中源连接为MRS Hudi连接时,源端作业参数如表1所示。 表1 MRS Hudi作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 选择已配置的MRS Hudi连接。 hudi_from_cdm 数据库名称 输入或选择
Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CD
Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CD
击“下载权限”,进入下载权限页签。 图1 进入下载权限页签 单击下载权限页签的“新建” ,在弹出的策略配置页参考表1配置相关参数,配置完成单击“提交”,策略配置完成。 表1 配置下载权限策略参数说明 参数名 参数描述 *策略名称 标识下载权限策略,为便于策略管理,建议名称中包含授权对象。
在管理中心页面,单击“资源迁移”,进入资源迁移页面。 图6 资源迁移 单击“导入文件”,选择导入方式后,配置待导入资源的OBS或本地路径。待导入的资源应为通过导出获取的zip文件。 图7 配置待导入的资源存储路径 单击“导入文件”,上传待导入资源。待导入的资源应为通过导出获取的zip文件
清除全部数据:写入数据前会清除目标表中数据。 清除部分数据:需要配置“where条件”参数,CDM根据条件选择性删除目标表的数据。 清除部分数据 where条件 “导入开始前”参数选择为“清除部分数据”时配置,配置后导入前根据where条件删除目的表的数据。 age > 18 and
单击左侧导航树中的“敏感数据发现”,在敏感数据发现页面选择“推荐识别”,进入推荐识别页签。 图1 推荐识别页面 在页面中选择待识别敏感信息数据表,配置采样行数,识别方式选择为“入湖检测规则”。 图2 配置入湖检测 手动刷新获取扫描结果,等待扫描状态为“成功”后 ,扫描结果返回。注意入湖检测规则识别方式为异步识别,需要手动刷新。
配置CDM作业源端参数 配置OBS源端参数 配置HDFS源端参数 配置HBase/CloudTable源端参数 配置Hive源端参数 配置DLI源端参数 配置FTP/SFTP源端参数 配置HTTP源端参数 配置PostgreSQL/SQL Server源端参数 配置DWS源端参数
购买并配置DataArts Studio 注册账号并实名认证 购买DataArts Studio实例 购买DataArts Studio增量包 访问DataArts Studio实例控制台 创建并配置简单模式工作空间 (可选)升级企业模式工作空间 管理DataArts Studio资源