检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
监测文件:监测文件或目录是否存在,如不存在则此节点运行失败,否则运行成功。 如果当前作业需要根据文件或目录是否存在,从而进行不同的处理,则可以根据本节点的执行状态设置IF条件判断,具体请参考IF条件判断教程章节。 源文件或目录 是 OBS桶中需要被管理的OBS文件或所在目录。 目的目录 是 存放待移动或复制OBS文件的新目录。
详细使用方法请参见迁移文件时加解密。 AES-256-GCM 数据加密密钥 “加密方式”选择“AES-256-GCM”时显示该参数,密钥由长度64位的十六进制数组成,且必须与加密时配置的“数据加密密钥”一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 DD0AE00
数据治理组织架构 数据治理组织架构框架 数据治理组织职责
华为数据治理案例 华为数据治理思考 华为数据治理实践 华为数据治理效果
据,关联业务和技术元数据、全链路的血缘管理和应用。 数据地图 数据地图围绕数据搜索,服务于数据分析、数据开发、数据挖掘、数据运营等数据表的使用者和拥有者,提供方便快捷的数据搜索服务,拥有功能强大的血缘信息及影响分析。 在数据地图中,可通过关键词搜索数据资产,支持模糊搜索,快速检索,定位数据。
调用数据服务API 申请API授权 通过不同方式调用API 父主题: 数据服务
配置安全管理员 查看数据概况 在总览页,用户可以根据日期,根据不同数据源类型。例如查看数据仓库服务(DWS)、数据湖探索(DLI)或MapReduce服务(MRS Hive)类型的下所包含的数据库中的敏感数据,包括敏感表总数、敏感字段总数、脱敏表数、嵌入水印表数、水印溯源数。 图2 数据概况 数据分析报表
workspace 是 String 数据所在空间的id值。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 total_count Integer 当前数据连接数据库记录数。 dw_id String 数据连接id。 databases Array
特定分页数据,您可以修改如下参数设置分页,其中pageSize表示分页后的页面大小,pageNum表示页码。 图7 分页参数设置 自定义分页的脚本/MyBatis方式API是在创建API时将分页逻辑写到取数SQL中,因此不支持在调用时修改分页设置。 (可选)排序配置:默认情况下,
细操作请参见配置OBS桶。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试
在“空间信息”中,单击“作业日志OBS路径”和“DLI脏数据OBS路径”后的“请选择”按钮,选择日志和DLI脏数据存储路径,可选择某个具体的目录。 图2 修改日志和DLI脏数据存储路径 修改完成后,单击“确定”,即完成作业日志和DLI脏数据存储路径的修改。 父主题: 创建并配置简单模式工作空间
Studio数据连接新建连接。 *数据库 呈现待扫描的数据库。单击数据库后的“设置”,设置待扫描的数据库范围。单击“清除”,可对已选择的数据库进行修改。 *数据表 对于DLI和DWS类型的敏感数据发现任务,您需要设置选择表的方式,当前支持手动筛选、通配符匹配和全部三种方式。 手动筛选:即
支持英文、汉字、数字、下划线, 2-64字符。 datasource_type String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 cluster_id String 集群id。请于集群管理页面查看集群ID信息。当数据源类型为DLI时,该参数需要填写为DLI。 cluster_name String
元数据采集任务接口 查询采集任务列表 创建采集任务 查询采集任务详情 编辑采集任务 删除单个采集任务 启动、调度、停止采集任务 获取任务日志 父主题: 数据目录API
节点数据血缘 数据血缘方案简介 配置数据血缘 查看数据血缘 父主题: 节点参考
逆向数据库(维度建模) 通过逆向数据库,您可以将其他数据源的数据库中的表导入到指定的模型中。 前提条件 在逆向数据库之前,请先在DataArts Studio数据目录模块中对数据库进行元数据采集,以便同步数据目录时可以同步成功,否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作,请参见配置元数据采集任务。
查看作业实例 作业实例的数据保留最近90天的结果。 界面说明 介绍“数据质量监控 > 运维管理”页面中的区域和按键功能。 图1 页面区域说明 表1 运维管理页面 序号 区域 描述 1 导航栏 左侧导航栏,包括数据质量规则的存储目录。 用户可以根据实际需要对规则进行分目录存放,每级
配置数据安全策略(待下线) 数据安全简介(待下线) 新建数据密级(待下线) 新建数据分类(待下线) 配置脱敏策略(待下线) 父主题: 数据目录
否:默认为否,不记录脏数据。 表示不允许脏数据存在。如果同步过程中产生脏数据,任务将失败退出。 是:允许脏数据,即任务产生脏数据时不影响任务执行。 允许脏数据并设置其阈值时: 若产生的脏数据在阈值范围内,同步任务将忽略脏数据(即不会写入目标端),并正常执行。 若产生的脏数据超出阈值范围,同步任务将失败退出。
Studio服务进入数据集成界面可以看到。 单击集群名称后,选择“标签”页签。 图2 修改集群配置 单击“添加/编辑标签”,通过添加、修改标签为CDM集群设置资源标识。 图3 添加标签 一个集群最多可添加10个标签。 标签键(key)的最大长度为36个字符,标签值(value)的最大长度为43个字符。