检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
指标开发概述 指标是衡量业务特征的统计数值,用于体现企业某一业务活动的业务状况。指标通常分为原子指标和衍生指标,与指标相关的参数还包括统计维度和时间周期。衍生指标则是由原子指标 + 统计维度 + 时间周期组成。 原子指标用于明确业务的统计口径及计算逻辑。在本示例中,经营面积和销售额。
SQL语言操作结构化数据。 MapReduce服务(MRS Clickhouse) ClickHouse是一款开源的面向联机分析处理的列式数据库,其独立于Hadoop大数据体系,最核心的特点是极致压缩率和极速查询性能。同时,ClickHouse支持SQL查询,且查询性能好,特别是基于大宽
段等不同维度限制API的调用次数。 为了提供持续稳定的服务,您需要通过创建并选择流控策略,针对部分API进行流量控制。流控策略和API本身是相互独立的,只有将流控策略绑定API后,流控策略才对绑定的API生效。 同一个环境中一个API只能被一个流控策略绑定,一个流控策略可以绑定多个API。
场景任选一种方式进行授权。 通过IAM类型应用授权。IAM类型应用本质上是当前的华为账号,每个DataArts Studio实例下仅能创建一个。因此,将IAM认证方式的API授权给IAM类型的应用,实际上是将API授权给了当前账号。因此在授权后,从IAM服务获取当前账号及其归属用
数据安全会生成动态脱敏策略(策略名为Kafka消息中的策略名)并同步到MRS Ranger组件中生效。 图1 动态脱敏订阅原理 值得注意的是,动态脱敏订阅为DataArts Studio实例级别配置,各工作空间之间数据互通,全局可见并生效。 前提条件 第三方平台的动态脱敏策略需要
数据安全能力成熟度模型 数据安全能力成熟度模型(Data Security Capability Maturity Mode,简称DSMM)是依据《信息安全技术数据安全能力成熟度模型》国家标准和《数据安全能力建设实施指南V1.0》,对组织的数据安全开展能力评估。DSMM旨在标准先行
- DECIMAL NUMBERIC INTEGER 一个正常大小的整数,可以带符号。如果是有符号的,它允许的范围是从-2147483648到2147483647。 如果是无符号,允许的范围是从0到4294967295。 可以指定多达11位的宽度。 5236 INT INTEGER
如果脚本是新建且未保存过的,请配置如表3所示的参数。 表3 保存脚本 参数 是否必选 说明 脚本名称 是 脚本的名称,只能包含字符:英文字母、数字、中文、中划线、下划线和点号,且长度小于等于128个字符。 描述 否 脚本的描述信息。 选择目录 是 选择脚本所属的目录,默认为根目录。 如果脚本未保存,重
default数据库中的数据表进行脱敏。 *源表名 单击设置选择待脱敏的数据表。 *是否指定列 支持指定列脱敏。开启后您可以对源表中的指定列配置脱敏算法,支持对多列分别配置不同的脱敏算法。 说明: 注意该参数确定后,无法再通过编辑任务修改此选项。 *指定列 开启“是否指定列”时,此参数为必选项。 如果您需要对某列进
维度度量了数据治理工作的水平。 数据治理评分卡使用评分卡形式,由数据治理组织和各业务IT部门共同针对各部门自身数据治理情况进行打分。评分卡是季度性打分,作为一个工具手段持续推动促进各部门的数据治理工作,改进数据质量,提升数据治理水平。 图1 数据治理评分卡 父主题: 数据治理度量评估体系
如何降低CDM使用成本? 如果是迁移公网的数据上云,可以使用NAT网关服务,实现CDM服务与子网中的其他弹性云服务器共享弹性IP,可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下: 假设已经创建好了CDM集群(无需为CDM集群绑定专用弹性
DataArts Studio使用流程 数据治理中心DataArts Studio是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除
定规则进行动态脱敏。当策略中指定的用户和用户组在访问敏感数据时,系统会直接返回由数据源动态脱敏后的数据,保护敏感数据不被泄露。 值得注意的是,动态脱敏策略为DataArts Studio实例级别配置,各工作空间之间数据互通,全局可见并生效。 前提条件 新建MRS Hive脱敏策略前,已完成如下操作:
为了方便对数据进行管理,在对数据进行操作前,需要您为数据定义密级,并对保密等级做相应的描述,例如明确涉密的范围。本章主要介绍如何定义数据密级并配置默认密级。 值得注意的是,数据密级、数据分类和识别规则,均为DataArts Studio实例级别配置,各工作空间之间数据互通。这样在数据地图组件中,就可以根据一套标准的分级分类管理对数据进行统一管理。
隐私数据保护简介 隐私数据保护是数据安全提供的一项用于敏感数据保护的功能。在隐私数据保护模块,您可以通过数据静态脱敏、动态脱敏、数据水印、文件水印和动态水印等方式来防止敏感数据遭到有意或无意的误用、泄漏或盗窃,从而帮助企业采取合理措施来保护其敏感数据的机密性和完整性、可用性。 保护方式
配置增量元数据采集任务 配置、运行采集任务是构建数据资产的前提,下面举例说明如何通过配置采集任务达到灵活采集元数据的目的。 场景一:仅添加新元数据 用户的数据库中新增的数据表,采集任务仅采集新增的表。 例如新增table4的情况下: 采集前的数据表元数据:table1,table2,table3
成度的重要工具。该章节以“坪效”为例对数据指标的功能进行详细地讲解。 坪效是目前通用的衡量商场经营效益的指标,其概念指的是每坪的经营面积可以产出多少营业额。 图1 业务场景示例 在本示例中,我们最终输出的是客户需求的报表中过去一年全国所有有效经营面积的平均坪效值。我们的数据源提供
复合指标 复合指标是由一个或多个衍生指标叠加计算而成,其中的维度、时间周期均继承于衍生指标。注意,不能脱离衍生指标、维度和时间周期的范围,去产生新的维度和时间周期。 由于衍生指标只是针对某业务活动某段时间的数据量统计,无法满足贴近用户实际使用的业务增长率、差值计算等数据的比对需求
本章节介绍如何在数据开发模块上进行Hive SQL开发。 场景说明 数据开发模块作为一站式大数据开发平台,支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能;可以将SQL语句转换为MapReduce任务进行运行。
访问权限。通过敏感数据管控为指定用户/用户组配置指定密级后,则用户/用户组在数据预览时仅能访问资产密级小于等于指定密级的字段。 值得注意的是,密级权限管控策略为DataArts Studio实例级别配置,各工作空间之间数据互通,全局可见并生效。未配置密级权限管控策略时,数据安全会