检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理样本库 数据安全支持将您提供的OBS或HDFS样本文件生成样本库。当新建随机脱敏或字符替换类型的脱敏算法时,可以选择将敏感数据脱敏为样本库文件中的值,详见新建脱敏算法。 本章主要介绍如何创建样本。 前提条件 已在OBS或HDFS中上传样本文件。样本文件只支持txt格式,大小建
查询数据分类列表 功能介绍 查询数据分类列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/data-category 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
管理作业标签 作业标签用于给相同或用途类似的作业打上标签,便于管理作业,并根据标签查询作业。参考本节操作,您可管理作业标签,执行新增、删除、导入、导出等操作。 新建作业标签 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
Oracle同步到DWS作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 Oracle数据库(10、11、12、19版本) DWS集群(8.1.3、8.2.0版本) 数据库账号权限要求 在使用Migration进行同步时,源端和目的端所使用
同步MRS Hive和Hetu权限 在MRS Hetu对接MRS hive数据源并使用Ranger权限管控的场景下,通过Hetu访问同集群的Hive数据源,会统一使用Hetu端的Ranger权限做鉴权,而不受Hive端的Ranger权限管控。 为了避免该场景下需要在Hetu端重复
获取SQL节点的输出结果值 当您在数据开发模块进行作业开发,需要获取SQL节点的输出结果值,并将结果应用于后续作业节点或判断时,可参考本教程获取SQL节点的输出结果。 场景说明 使用EL表达式#{Job.getNodeOutput("前一节点名")}获取的前一节点的输出结果时,输出结果为二维数组形式
获取SQL节点的输出结果值 当您在数据开发模块进行作业开发,需要获取SQL节点的输出结果值,并将结果应用于后续作业节点或判断时,可参考本教程获取SQL节点的输出结果。 场景说明 使用EL表达式#{Job.getNodeOutput("前一节点名")}获取的前一节点的输出结果时,输出结果为二维数组形式
配置下载权限(高级特性) 本章介绍如何通过下载权限策略,基于用户或用户组,对数据开发中SQL脚本执行结果的转储以及在下载中心下载操作进行权限控制。 DataArts Studio实例中默认具备命名为“SYSTEM_GENERATE_DEFAULT_DATA_DOWNLOAD_PO
配置HDFS目的端参数 作业中目的连接为HDFS连接时,目的端作业参数如表1所示。 表1 HDFS作为目的端时的作业参数 参数名 说明 取值样例 写入目录 写入数据到HDFS服务器的目录。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配
配置默认项 本章节主要介绍默认项的配置。当前只有具备DAYU Administrator或Tenant Administrator账号权限的用户才有默认配置项的相关操作权限。 使用场景 当某参数被多个作业调用时,可将此参数提取出来作为默认配置项,无需每个作业都配置该参数。 表1 配置项列表
MySQL同步到DWS作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 MySQL数据库(5.6、5.7、8.x版本) DWS集群(8.1.3、8.2.0版本) 数据库账号权限要求 在使用Migration进行同步时,源端和目的端所使用的数
源端为对象存储 JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
配置空间权限集 在数据访问权限管理的实际场景下,通常会有一级部门、二级部门、三级部门等多级权限的划分。为此,数据安全组件提供了自上而下分层式的数据权限管理方式。您可以通过空间权限集配置工作空间内的最大权限,在此基础上,将其向下拆分出新的子权限集,提供进一步的细分权限管理。 空间权限集作为DataArts
配置权限集 在数据访问权限管理的实际场景下,通常会有一级部门、二级部门、三级部门等多级权限的划分。为此,数据安全组件提供了自上而下分层式的数据权限管理方式。您可以通过空间权限集配置工作空间内的最大权限,在此基础上,将其向下拆分出新的子权限集,提供进一步的细分权限管理。 权限集本质
源端为FTP/SFTP JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
源端为HDFS JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
CDM与其他数据迁移服务有什么区别,如何选择? 华为云上涉及数据迁移的服务有以下几种: 云数据迁移服务 CDM 对象存储迁移服务 OMS 数据复制服务 DRS 主机迁移服务 SMS 数据库和应用迁移 UGO 数据快递服务 DES 上述数据迁移服务的区别请参见各个数据迁移服务区别。
配置HDFS源端参数 作业中源连接为HDFS连接时,即从MRS HDFS、FusionInsight HDFS、Apache HDFS导出数据时,源端作业参数如表1所示。 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。
新建数据对账作业 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要,而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 数据质量监控中的对账作业支持跨源数据对账能力,可将创建的规则应用到两张表中进行质量监控,并输出对账结果。 创建作业 在DataArts
配置FTP/SFTP源端参数 作业中源连接为FTP/SFTP连接时,源端作业参数如表1所示。 高级属性里的参数为可选参数,默认隐藏,单击界面上的“显示高级属性”后显示。 表1 FTP/SFTP作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源目录或文件 待迁移数