检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新建规则 管理所有业务规则,规则定义了指标间或者指标和数值间的关系,使用目录维护业务规则。 前提条件 已在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控 > 规则管理”页面创建归属目录。基于指标创建业务规则,需要选择规则归属目录,请参见图1创建归属目录。
定义数据分类 当数据密级已经无法满足大数据量下的数据分级分类诉求时,您可以进一步为不同价值的数据定义数据分类,以更好地管理和分组计量自己的数据,让各类各组之间属于并列、平等并且互相排斥的关系,使数据更清晰。本章主要介绍如何定义数据分类。 值得注意的是,数据密级、数据分类和识别规则,均为DataArts
新建指标 管理所有业务指标,包括指标的来源、定义等,使用目录维护业务指标。 注意,数据质量模块的指标与数据架构模块的业务指标、技术指标当前是相互独立的,不支持交互。 前提条件 已在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控
新建业务场景 管理所有业务场景,场景定义了规则间的逻辑关系,使用目录维护业务场景。 前提条件 已在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控 > 业务场景管理”页面创建归属目录。基于规则创建业务场景,需要选择业务场景归属目录,请参见图1创建归属目录。
管理样本库 数据安全支持将您提供的OBS或HDFS样本文件生成样本库。当新建随机脱敏或字符替换类型的脱敏算法时,可以选择将敏感数据脱敏为样本库文件中的值。 本章主要介绍如何创建样本。 前提条件 已在OBS或HDFS中上传样本文件。样本文件只支持txt格式,大小建议不超过10MB,其中数据可通过换行“\n”、空格“
嵌入数据水印 本章主要介绍如何进行数据水印嵌入。数据水印一般有如下场景: 规范数据外发流程 实现对企业内部人员数据外发进行有效流程化管理,非授权用户在数据外发前需审批,审批通过后采取数据水印技术生成可外发数据文件。 数据版权保护 通过在关系数据库中嵌入代表所有权的水印信息,可以将
查看敏感数据分布 本章主要介绍如何查看敏感数据发现结果以及手工修正。 查看敏感数据发现结果:敏感数据识别任务完成后,需要查看任务的运行结果。 手工修正:发现敏感数据后,您必须根据具体情况进行手工修正,通过对任务中的识别规则进行“确认”,使规则状态变更为“有效”,才能使该识别规则在静态脱敏任务中生效。
敏感数据治理流程 敏感数据定义 敏感数据主要指未经个人或集团授权被他人使用,有可能给个人或集团带来严重损害的数据。 以《GBT 35273-2020 信息安全技术个人信息安全规范》为例,个人敏感数据有: 个人财产信息 (存款、信贷、消费流水) 个人健康生理信息(体检信息、医疗记录)
数据安全总览页面 数据安全总览页面为您提供了配置数据安全管理员功能和数据安全的空间汇总信息,包括查看敏感表总数、敏感表密级分布饼图、敏感字段密级分布饼图、脱敏和水印任务数量趋势图。 配置安全管理员 安全管理员由具有DAYU Administrator系统角色权限的账号指定,在DataArts
迁移到DWS时出现value too long for type character varying怎么处理? 问题描述 在使用CDM迁移数据到数据仓库服务(DWS)或者FusionInsight LibrA时,如果迁移作业失败,且执行日志中出现“value too long for
Dummy 功能 Dummy节点是一个空的节点,不执行任何操作。用于简化节点的连接视图,便于用户理解复杂节点流的连接关系,示例如图1所示。 图1 连接方式对比 参数 用户可参考表1配置Dummy节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中
数仓规划 数仓规划,目前系统默认的数仓分层包含SDI、DWI、DWR、DM(Data Mart)等4层,支持用户自定义数仓分层。数仓规划对数仓分层以及数仓模型进行统一管理。 关系建模下包含SDI层和DWI层两层模型,物理模型归属于两层模型之一。 SDI:Source Data I
时间周期 原子指标是计算逻辑的标准化定义,时间周期则是条件限制的标准化定义。为保障所有统计指标统一、标准、规范地构建,时间周期在业务板块内唯一,并唯一归属于一个来源逻辑表,计算逻辑也以该来源逻辑表模型的字段为基础进行定义。由于一个时间周期的定义可能来自于归属不同数据域的多个逻辑表
配置元数据采集任务 本章主要介绍如何通过配置元数据采集策略新建采集任务,不同类型的数据源对应的采集策略不尽相同。元数据管理依据采集任务的配置策略,采集对应的技术元数据信息。 约束与限制 当元数据采集任务未指定采集范围时,默认采集该数据连接下的所有数据表/文件。采集任务运行完成后,
复合指标 复合指标是由一个或多个衍生指标叠加计算而成,其中的维度、时间周期均继承于衍生指标。注意,不能脱离衍生指标、维度和时间周期的范围,去产生新的维度和时间周期。 由于衍生指标只是针对某业务活动某段时间的数据量统计,无法满足贴近用户实际使用的业务增长率、差值计算等数据的比对需求
数据安全概述 数据安全以数据为中心,基于数据动态流动场景,构建全链路数据湖安全的解决方案,全方位保障数据湖安全,以此满足不同角色(如数据开发工程师,数据安全管理员,数据安全审计员和数据安全运营人员)对数据安全和数据治理的诉求。 图1 DataArts Studio数据安全框架 资
复制名称和重命名作业 您可以通过复制名称功能复制当前作业名称,通过重命名功能修改当前作业名称。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 复制名称 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
复制脚本 本章节主要介绍如何复制一个脚本。 前提条件 已完成脚本开发,请参见开发脚本。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
复制作业 本章节主要介绍如何复制一份作业。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工
管理资源 用户可以通过资源管理功能,上传自定义代码或文本文件作为资源,在节点运行时调用。可调用资源的节点包含DLI Spark、MRS Spark、MRS MapReduce和DLI Flink Job。 创建资源后,配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更,