检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前往监控 您可以通过作业目录树,快速跳转到该作业的监控界面,查看该作业的监控详细信息。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
实例ID和工作空间ID 获取DataArts Studio实例ID和工作空间ID DataArts Studio的实例ID和工作空间ID可以从DataArts Studio控制台的URI链接中获取。 在DataArts Studio控制台首页,选择对应工作空间,并单击任一模块,如“管理中心”。
查看并修改CDM集群配置 操作场景 CDM集群已经创建成功后,您可以查看集群基本信息,并修改集群的配置。 查看集群基本信息: 集群信息:集群版本、创建时间、项目ID、实例ID和集群ID等。 节点配置:集群规格、CPU和内存配置等信息。 网络信息:网络配置。 支持修改集群的以下配置:
配置DataArts Studio企业模式环境隔离 管理中心的环境隔离,当前支持配置DLI和DB配置的开发、生产环境隔离。 配置环境隔离后,数据开发时脚本/作业中的开发环境数据连接通过发布流程后,将自动切换对应生产环境的数据连接。 前提条件 创建DLI环境隔离前,应已创建DLI的数据连接。
数据血缘方案简介 什么是数据血缘 大数据时代,数据爆发性增长,海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息,通过联姻融合、转换变换、流转流通,又生成新的数据,汇聚成数据的海洋。 数据的产生、加工融合、流转流通,到最终消亡,数据之间自然会形成一种关系。我们借鉴人类社会中
移动作业/作业目录 您可以通过移动功能把作业文件或作业目录从当前目录移动到另一个目录。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
检测文件敏感数据(高级特性) 通过创建文件敏感数据检测任务,可以快速识别文件中的敏感信息。 在新版本模式下仅当使用企业版时,才支持检测文件敏感数据功能,旧版本模式使用基础版及更高版本时即可支持。文件敏感数据当前在北京四、上海一内测(其他region后续会逐步放开,敬请期待!),但
JavaScript 操作场景 使用JavaScript语言调用APP认证的API时,您需要先获取SDK,然后新建工程,最后参考API调用示例调用API。 本章节以IntelliJ IDEA 2018.3.5版本、搭建Node.js开发环境为例介绍。 准备环境 已获取API的域名
定义数据分类 当数据密级已经无法满足大数据量下的数据分级分类诉求时,您可以进一步为不同价值的数据定义数据分类,以更好地管理和分组计量自己的数据,让各类各组之间属于并列、平等并且互相排斥的关系,使数据更清晰。本章主要介绍如何定义数据分类。 值得注意的是,数据密级、数据分类和识别规则,均为DataArts
删除作业 当用户不需要使用某个作业时,可以参考如下操作删除该作业,以减少作业的配额占用。 作业删除后,将无法恢复,请确保删除作业后,不影响业务。 普通删除 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Stu
华为数据治理实践 华为数据治理的规范流程建设,完成了从数据产生、数据整合、数据分析与数据消费全价值流的规则制定。华为数据治理组织实践,建立实体化的数据管理组织,向公司数据管理部汇报,同时组建了跨领域数据联合作战团队。华为已建立统一的数据分类管理框架,指导各领域进行分类管理。华为信
查看权限报告 本章主要介绍如何查看资源配置权限策略及详情。 前提条件 已完成权限策略配置,未配置请参考配置资源权限。 查看策略及详情 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“权限报告”,进入权限报告页面。
实时集成资源组关联工作空间 进行实时数据集成任务配置前,您需要将数据集成资源组与将要使用的DataArts Studio工作空间进行关联,以确保在配置实时集成作业时可以选到指定的计算资源组。 前提条件 已购买资源组,详情请参见购买数据集成资源组。 操作步骤 参考访问DataArts
查看同步日志 Migration实时集成服务底层依托于Flink开发而来,同样对外开放了Flink的JobMamager和TaskManager日志,便于用户查看实时同步情况,并通过日志定位或排查异常问题。 前提条件 实时集成作业已正常运行一段时间(约5分钟)。 操作步骤 参考访问DataArts
创建补数据实例 功能介绍 创建一个补数据实例。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/supplement-data 参数说明 参数名 是否必选 参数类型 说明 project_id
配置中心 添加审核人 审核人必须是当前工作空间下具有审核权限的成员,需要先在“DataArts Studio首页-空间管理”的工作空间内编辑并添加空间成员。 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据指标”模块,进入数据指标页面。
Oracle数据迁移到DWS 操作场景 CDM支持表到表的迁移,本章节介绍如何通过CDM将数据从Oracle迁移到数据仓库服务(Data Warehouse Service,简称DWS)中,流程如下: 创建CDM集群并绑定EIP 创建Oracle连接 创建DWS连接 创建迁移作业
敏感数据治理流程 敏感数据定义 敏感数据主要指未经个人或集团授权被他人使用,有可能给个人或集团带来严重损害的数据。 以《GBT 35273-2020 信息安全技术个人信息安全规范》为例,个人敏感数据有: 个人财产信息 (存款、信贷、消费流水) 个人健康生理信息(体检信息、医疗记录)
重启CDM集群 操作场景 在进行某些配置修改(如关闭用户隔离等)后,需要重启集群才能生效。此时您需要进行集群重启操作。 重启CDM集群进程或集群VM都会导致正在运行的作业失败,重启期间也无法调度新的作业,请谨慎操作! 前提条件 已创建CDM集群。 重启集群 登录CDM管理控制台。
解锁脚本 脚本/作业解锁涉及到数据开发的编辑锁定功能。 编辑锁定:用于避免多人协同开发脚本/作业时产生的冲突。新建或导入脚本/作业后,默认当前用户锁定脚本/作业,只有当前用户自己锁定的脚本/作业才可以直接编辑、保存或提交,通过“解锁”功能可解除锁定;处于解除锁定或他人锁定状态的脚