检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果未选上,表示实例运行时等待时间会被计入超时时间。 自定义字段 配置自定义字段的参数名称和参数值。 作业标签 配置作业的标签,用以分类管理作业。 单击“新增”,可给作业重新添加一个标签。也可选择管理作业标签中已配置的标签。 节点状态轮询时间(秒) 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。
专线连通的VPC的一致。 其它参数可以自定义,或者保持默认。 创建CDH HDFS连接: 单击CDM集群操作列的“作业管理”,进入作业管理界面。 选择“连接管理 > 新建连接”,进入连接器类型的选择界面,选择“Apache HDFS”。 图1 选择连接器类型 单击“下一步”,配置
下步骤添加该用户。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签,单击列表中相应工作空间后的“编辑”,弹出“空间信息”弹窗。 图1 空间信息 单击空间成员下的“添加
Admin:临时UDF管理权限 Yarn Yarn队列权限: submit-app:提交队列任务权限 admin-queue:管理队列任务权限 HBase HBase列、列族的权限: Read:读权限 Write:写权限 Create:创建权限 Admin:管理员权限 Kafka Kafka的Topic权限:
获取对账作业详情。 300 40 运维管理接口 表6 运维管理接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 获取任务执行结果列表 获取任务执行结果列表。 300 40 获取实例结果 获取实例结果。 300 40 数据质量运维管理操作处理&记录 该接口用于数据
核人审核通过后,即可发布完成。 处于待审核状态的API无法修改数据连接,需要具有空间管理员角色的用户审批驳回才可进行修改。 审核人支持管理员、开发者、运维者,访客无法添加为审核人。 工作空间管理员角色的用户,无论是否被添加为审核人,都默认具备审核人权限。 发布完成后,您可以进入到“服务目录”,查看已发布API信息。
入权限”的处理方法 使用管理员用户登录IAM控制台。 在统一身份认证服务的左侧导航窗格中,选择“用户”,单击用户名进入用户信息界面。 单击“访问方式”后面的,修改访问方式。 勾选“编程访问”和“管理控制台访问”。 图4 配置访问方式 单击“确定”。 在管理控制台创建工作空间时,作
历史数据,同时会自动清理三个月之前的更老的数据记录。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“运维调度
系统默认的数仓分层的四层层级的名称支持由管理员自定义,单击层级名后的即可重命名。重命名建议能够区分不同层级,规则为只能包含英文字母、中文、数字、下划线,且以英文字母或中文开头。 物理模型、维度模型、数据集市,都是模型,在数仓规划进行统一管理。 数仓规划支持细粒度权限管控,在数据安
Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 单击“调用API > 应用管理”,进入到应用管理页面。单击“新建”,弹出“新建应用”对话框。填写如表1所示信息。 表1 应用信息 信息项 描述 应用名称 应用名称,IAM应用类型固定为华为账号,且不支持修改。
2 角色(空间管理员) workspace_id String 空间id table_approver_type String 安全管理员:SECURITY_MANAGER,空间权限集管理员WORKSPACE_PERMISSION_SET_MANAGER,权限集管理员PERMISSION_SET_MANAGER
满足GDPR关于在海量数据中找到和保护敏感数据的要求,可对敏感数据的使用进行审计。 数据安全合规检查 通过对敏感数据的分析,制定数据安全合规管理制度,帮助企业建设以及改善信息安全合规管理体系。 敏感数据识别流程 在执行识别敏感数据任务之前,您可通过图1了解敏感数据识别流程。 图1 敏感数据识别流程图 定义数据密级
企业模式下,进行同步时,可以选择同步到生产环境或开发环境。默认同步到生产环境,不勾选则无法同步。 管理事实表 事实表创建好之后,进入数据架构的“维度建模 > 事实表”页面,您可以对事实表进行编辑、发布、下线、查看发布历史或删除操作。 图5 事实表管理 编辑事实表 在事实表列表中,找到需要编辑的事实表,单击“编辑”,进入编辑事实表页面。
等),没有特定的划分要求。 随着业务的不断发展,您可能进行了更细致的工作空间划分。这种情况下,您可以参考本文档,将原有工作空间的数据(包含管理中心数据连接、数据集成连接和作业、数据架构表、数据开发脚本、数据开发作业、数据质量作业等),搬迁到新建的工作空间中。 操作前准备 已创建新
数据治理解决方案是以DataArts Studio为核心产品,打造领先的数智融合生产线,面向行业落地水平、场景化解决方案 ,助力企业数字化升级,实现数据驱动精益管理,探索数据价值流通,在水平和行业两个方向构建可复制数据治理解决方案。 数据治理解决方案正在持续构建中,如需落地请通过解决方案官网咨询。 父主题:
此外,您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同,如果不同,需要修改工作空间的企业项目。 新建MRS hive连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图1所示。 图1 选择连接器类型 连接器类型选择“MRS Hive”后单击“下一步”,配置MRS
新建普通目录 如果已存在可用的目录,则可以跳过当前操作。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发
流程设计 流程架构基于价值流产生,属于业务架构的流程处理模块,指导并规范需求的管理,确保业务需求受理、分析、交付等过程的高效运作;并聚焦高价值需求,实现业务价值最大化,支撑业务运作及目标的达成。 新建流程 根据业务需求设计流程,流程支持三层至七层,如需要修改,请参考流程层级数。 在DataArts
查看作业实例 作业实例的数据保留最近90天的结果。 界面说明 介绍“数据质量监控 > 运维管理”页面中的区域和按键功能。 图1 页面区域说明 表1 运维管理页面 序号 区域 描述 1 导航栏 左侧导航栏,包括数据质量规则的存储目录。 用户可以根据实际需要对规则进行分目录存放,每级
数据架构中的指标与数据质量的指标的区别,需要具体说明一下,便于用户理解。 解决方案 数据架构中指标侧重业务维度,用来衡量目标总体特征的统计数值;数据质量中指标侧重监控维度,用来管理所有业务指标,包括指标的来源、定义等。 注意,数据质量模块的指标与数据架构模块的业务指标、技术指标当前是相互独立的,不支持交互。同时,数据