检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
批量管理CDM作业 操作场景 这里以表/文件迁移的作业为例进行介绍,指导用户批量管理CDM作业,提供以下操作: 作业分组管理 批量运行作业 批量删除作业 批量导出作业 批量导入作业 批量导出、导入作业的功能,适用以下场景: CDM集群间作业迁移:例如需要将作业从老版本集群迁移到新版本的集群。
Spark作业 在本章节您可以学习到数据开发模块资源管理、作业编辑等功能。 场景说明 用户在使用DLI服务时,大部分时间会使用SQL对数据进行分析处理,有时候处理的逻辑特别复杂,无法通过SQL处理,那么可以通过Spark作业进行分析处理。本章节通过一个例子演示如何在数据开发模块中提交一个Spark作业。
Studio数据开发模块可管理多种大数据服务,提供一站式的大数据开发环境、全托管的大数据调度能力,极大降低用户使用大数据的门槛,帮助您快速构建大数据处理中心。 使用DataArts Studio数据开发,用户可进行数据管理、数据集成、脚本开发、作业开发、版本管理、作业调度、运维监控等操作,轻松完成整个数据的处理分析流程。
以跳过本步骤。 在华为云购买并配置云专线或VPN虚拟专用网络。 为了连通其他云计算环境与华为云计算环境,可以通过开通云专线或虚拟专用网络来实现。 购买和配置云专线DC的相关操作,可以参考通过云专线实现云下IDC访问云上VPC。其中在创建虚拟网关时,虚拟私有云选择步骤2所创建的中转
法。 加密算法中的“dws列加密”算法。 不同脱敏算法的更多使用限制,请参考管理脱敏算法。 目标端配置 *数据源类型 选择存储脱敏后数据的数据源类型,支持的脱敏场景如表3所示。 *数据连接 选择已在管理中心组件创建的数据连接。若未创建请参考创建DataArts Studio数据连接新建连接。
Spark连接。 约束与限制 仅DAYU Administrator、Tenant Administrator用户或者数据安全管理员可以开启或关闭数据开发动态水印功能,至少为工作空间管理员角色才可以创建动态水印策略,其他普通用户无权限操作。 当前动态水印策略仅支持MRS Hive和MRS Spark数据源。
进入Ranger WebUI 注销当前账号,使用Ranger管理员账号再次登录。注意,普通集群使用Manager页面的admin账号即可作为Ranger管理员账号,安全集群需要使用rangeradmin作为Ranger管理员账号,rangeradmin默认密码请参考用户账号一览表章节。
String 管理员类型, USER:用户, USER_GROUP:用户组 manager_id String 管理员id, 管理员类型为用户时, 请传入iam用户id; 管理员类型为用户组时, 请传入iam用户组id manager_name String 管理员名称, 管理员类型为用户时
jar,然后进行上传。 - 单击“保存”回到连接管理界面。 如果保存时出错,一般是由于MySQL数据库的安全设置问题,需要设置允许CDM集群的EIP访问MySQL数据库。 创建Hive连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图5所示。
管理回收站 通过回收站功能,您可以恢复误删的数据安全关键数据。当前综合数据的重要程度、使用频次以及误删后恢复难易程度等各方面因素考虑,定义数据安全的关键数据为权限集(包含空间权限集、权限集以及通用角色)和动态脱敏策略。 前提条件 回收站中的数据依赖于权限集(包含空间权限集、权限集
配置数据血缘 DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节
Studio相关的操作事件,用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 在您开启了云审计服务后,系统开始记录DataArts Studio的相关操作,云审计服务的管理控制台保存最近7天的操作记录。 前提条件 已开通云审计服务。开通方式请参见开通云审计服务。 操作步骤 登录管理控制台,在服务列表中选择“云审计服务
数据管理能力成熟度模型DCMM 数据管理能力概述 DCMM标准模型与等级 贯标与评估流程 父主题: 数据治理解决方案
数据质量 质量作业和对账作业有什么区别? 如何确认质量作业或对账作业已经阻塞? 如何手工重启阻塞的质量作业或对账作业? 怎样查看质量规则模板关联的作业? 用户在执行质量作业时提示无MRS权限怎么办?
审批管理 用户可在审批中心页面,查看自己提交的申请及进度,查看待自己审批的申请,查看已审批的历史记录并对审批人进行管理。 审批人管理 选择“数据权限 > 审批中心”,在“审批人管理”页签“新建”和“删除”审批人,如图1。审批人数据来源于工作空间中添加的人。 图1 管理审批人 待我审批
行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行、跨源和跨表的分析。数据质量支持对离线数据的监控,当离线数据发生变化时,数据质量会对数据进行校验,并阻塞生产链路,以避免问题数据污染扩散。同时,数据质量提供了历史校验结果的管理,以便您对数据质量分析和定级。
配置 配置环境变量 配置OBS桶 管理作业标签 配置调度身份 配置节点并发数 配置模板 配置调度日历 配置默认项 配置任务组 配置互斥 父主题: 配置管理
数据质量 业务指标监控(待下线) 数据质量监控 使用教程
购买实例 DataArtsStudio实例一键购买接口 父主题: 管理中心API
数据库部署在华为云 同Region同租户直接连通网络 同Region不同租户通过对等连接连通网络 同Region不同租户通过企业路由器连通网络 跨Region通过云连接连通网络 父主题: 网络打通