检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
定义数据密级 为了方便对数据进行管理,在对数据进行操作前,需要您为数据定义密级,并对保密等级做相应的描述,例如明确涉密的范围。本章主要介绍如何定义数据密级并配置默认密级。 值得注意的是,数据密级、数据分类和识别规则,均为DataArts Studio实例级别配置,各工作空间之间数据互通
定义数据分类 当数据密级已经无法满足大数据量下的数据分级分类诉求时,您可以进一步为不同价值的数据定义数据分类,以更好地管理和分组计量自己的数据,让各类各组之间属于并列、平等并且互相排斥的关系,使数据更清晰。本章主要介绍如何定义数据分类。 值得注意的是,数据密级、数据分类和识别规则,
配置Hive源端参数 支持从Hive导出数据,使用JDBC接口抽取数据。 Hive作为数据源,CDM自动使用Hive数据分片文件进行数据分区。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 读取方式 包括HDFS和JDBC两种读取方式。默认为HDFS
约束与限制 CDM系统级限制和约束 DataArts Studio实例赠送的数据集成集群,由于规格限制,仅用于测试业务、数据连接代理场景。 用于运行数据迁移作业的其他规格CDM集群可以在DataArts Studio控制台以增量包的形式购买,也可以在云数据迁移CDM服务控制台直接购买
开发实时处理单任务MRS Flink SQL作业 对已新建的作业进行开发和配置。 开发单任务模式的实时处理Flink SQL作业,请您参考开发SQL脚本、配置作业参数、保存作业和模板章节。 前提条件 已新建作业。 当前用户已锁定该作业,否则需要通过“抢锁”锁定作业后才能继续开发作业
查询脚本信息 功能介绍 此接口可以查询指定脚本的定义,包括脚本类型和脚本内容。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/scripts/{script_name}?version={version
查看数据血缘 首先在数据目录组件完成元数据采集任务,当数据开发作业满足自动血缘解析要求或已手动配置血缘,然后成功完成作业调度后,则可以在数据目录模块可视化查看数据血缘关系。 约束限制 数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。 对于同一版本的数据开发作业
配置建库申请(高级特性) 为了管控存算分离MRS Hive数据源的创建数据库流程,数据安全支持通过申请审批的流程在数据源上创建数据库。 在新版本模式下仅当使用企业版时,才支持建库申请和建库审批。旧版本模式使用基础版及更高版本时即可支持。 本章主要介绍管理员如何配置数据库路径,申请者如何申请创建数据库
实时报警平台搭建 在本实践用户可以了解到如何搭建一个简单的实时报警平台,该平台将应用多个云服务,结合数据开发模块的作业编辑和作业调度功能来实现。 假设客户有一个数据中心部署了很多应用,需要建立统一的运维系统,实时接收应用的告警信息。 当告警级别达到严重及以上级别时,向用户发送一条消息
HDFS连接参数说明 目前CDM支持连接的HDFS数据源有以下几种: MRS HDFS FusionInsight HDFS Apache HDFS 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 MRS HDFS 连接
获取审批工单列表 功能介绍 获取审批工单列表 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/openapi/permission-approve/approvals 表1 路径参数 参数 是否必选 参数类型 描述 project_id
动态水印 动态水印指在数据的访问过程中,动态地在数据的查询访问请求返回结果集中注入水印的方式。本章主要介绍如何实现数据开发动态水印功能,最终在数据开发组件中转储或下载敏感数据时,系统动态注入数据水印。 在数据安全组件开启数据开发动态水印功能并创建动态水印策略后,当策略中指定的用户组或角色在数据开发组件中转储或下载敏感数据时
通过应用授权APP认证方式API 应用定义了一个API调用者的身份。对于使用APP认证方式的API,必须在创建APP类型应用并将API授权给应用后,才能获得认证信息以用于API调用。 一个APP认证方式的API可以授权给多个APP类型的应用,多个APP认证方式的API也可以授权给同一个
查看敏感数据分布 本章主要介绍如何查看敏感数据发现结果以及手工修正。 查看敏感数据发现结果:敏感数据识别任务完成后,需要查看任务的运行结果。 手工修正:发现敏感数据后,您必须根据具体情况进行手工修正,通过对任务中的识别规则进行“确认”,使规则状态变更为“有效”,才能使该识别规则在静态脱敏任务中生效
MRS HetuEngine 功能 通过MRS HetuEngine节点执行数据开发模块中预先定义的HetuEngine SQL脚本。 参数 用户可参考表1和表2配置MRS HetuEngine节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文
MRS Impala SQL 功能 通过MRS Impala SQL节点执行数据开发模块中预先定义的Impala SQL脚本。 参数 用户可参考表1和表2配置MRS Impala节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字
新建衍生指标 衍生指标是原子指标通过添加限定、维度卷积而成,限定、维度均来源于原子指标中的属性。发布衍生指标时,会自动生成一张汇总表,可在“汇总表-自动汇聚”下查看。 衍生指标=原子指标+统计维度+时间限定+通用限定。 原子指标:明确统计口径,即计算逻辑。 统计维度:用于观察和分析业务数据的视角
数据开发配置数据搬迁 当前管理中心支持直接搬迁数据开发组件中已提交版本的脚本和作业数据,但导出作业时默认只导出作业,不包含其依赖的脚本和资源。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过数据开发的导入导出功能进行搬迁。 数据开发数据搬迁依赖于数据开发的脚本、作业、
提交版本 提交版本涉及到数据开发的版本管理功能。 版本管理:用于追踪脚本/作业的变更情况,支持版本对比和回滚。系统最多保留最近100条的版本记录,更早的版本记录会被删除。另外,版本管理还可用于区分开发态和生产态,这两种状态隔离,互不影响。 开发态:未提交版本的脚本/作业为开发态,仅用于个人调试开发
创建空间资源权限策略 功能介绍 创建空间资源权限策略 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/permission-resource 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String