检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入作业 功能介绍 将存放在OBS桶的作业文件导入到DLF,一次可以导入一个或多个作业。 执行本接口之前,需要将作业文件放到OBS的桶中。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/import
是否支持同步作业到其他集群? 问题描述 CDM是否支持同步作业到其他集群? 解决方案 CDM虽然不支持直接在不同集群间迁移作业,但是通过批量导出、批量导入作业的功能,可以间接实现集群间的作业迁移,方法如下: 将CDM集群1中的所有作业批量导出,将作业的JSON文件保存到本地。 由
EL表达式用法可参考EL表达式。 根据前一个节点的执行状态进行IF条件判断 场景说明 根据前一个CDM节点是否执行成功,决定执行哪一个IF条件分支。基于图1的样例,说明如何设置IF条件。 图1 作业样例 配置方法 登录DataArts Studio控制台,找到所需要的DataArts Studio实例,单击实
EL表达式用法可参考EL表达式。 根据前一个节点的执行状态进行IF条件判断 场景说明 根据前一个CDM节点是否执行成功,决定执行哪一个IF条件分支。基于图1的样例,说明如何设置IF条件。 图1 作业样例 配置方法 登录DataArts Studio控制台,找到所需要的DataArts Studio实例,单击实
图数据自动化构建与分析场景介绍 图引擎服务(Graph Engine Service,简称GES)是针对以“关系”为基础的“图”结构数据,进行查询、分析的服务,并广泛应用于社交关系分析、营销推荐、舆情及社会化聆听、信息传播、防欺诈等具有丰富关系数据的场景。 在DataArts S
查询SQL获取max值传递给CDM作业 场景描述 通过查询SQL语句,将获取到的最大时间的max值传递给CDM作业。在CDM作业的高级属性里面,通过where子句判断最大时间范围,获取所需要的迁移数据,从而完成数据迁移任务,最终完成增量迁移任务。 约束条件 已完成新建数据连接的操作。
择共享VPC子网。通过共享VPC子网功能,可以简化网络配置,帮助您统一配置和运维多个账号下的资源,有助于提升资源的管控效率,降低运维成本。如何共享VPC子网,请参考《共享VPC》。 子网 安全组 IPv6双栈支持 当配置的子网支持IPv6后,可选择是否开启IPv6双栈支持。 开启
MRS FusionInsight Manager,选择“系统 > 权限 > 角色”查看),继承已有角色的MRS数据源权限。 本章主要描述如何配置通用角色,配置纳管角色以及相关操作。 前提条件 配置角色前,已完成空间权限集的配置,请参考配置空间权限集。 MRS和DWS角色同步时,
导入连接(待下线) 连接管理能力由管理中心统一提供,相关接口已不再维护,推荐使用管理中心API进行连接管理。 功能介绍 将存放在OBS桶的连接文件导入到数据开发模块中,一次可以导入一个或多个连接。执行本接口之前,需要将连接文件放到OBS的桶中。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。
迁移准备 前提条件 CDH HBase的版本号小于或等于MRS HBase的版本号。 待迁移的表在迁移过程中不能有写入,Split,Merge等操作。 使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小,用于后续校验。
Studio时选择共享VPC子网。通过共享VPC子网功能,可以简化网络配置,帮助您统一配置和运维多个账号下的资源,有助于提升资源的管控效率,降低运维成本。如何共享VPC子网,请参考《共享VPC》。 子网 subnet-1 安全组 sg-1 增量包 作业节点调度次数/天增量包 不同版本的DataArts
Studio时选择共享VPC子网。通过共享VPC子网功能,可以简化网络配置,帮助您统一配置和运维多个账号下的资源,有助于提升资源的管控效率,降低运维成本。如何共享VPC子网,请参考《共享VPC》。 子网 subnet-1 安全组 sg-1 增量包 作业节点调度次数/天增量包 不同版本的DataArts
LI->DLI和DLI->DWS两种映射的作业创建。 已创建的ETL作业可以进入“数据开发 > 作业开发”页面查看。ETL作业默认每天0点启动调度。 在本示例中,不支持自动创建ETL作业,映射信息仅为数据开发提供数据的ETL流向。在数据开发的过程中,可以参考此处的映射关系编写SQL脚本。
同步,且不支持为空间权限集关联角色;而权限集可通过权限同步进行权限管控(实际使用时,更推荐通过权限集关联角色进行权限管控)。 本章主要描述如何通过创建空间权限集和配置空间权限集定义工作空间权限范围。 前提条件 配置权限集前,已在管理中心创建数据仓库服务(DWS)、数据湖探索(DLI)、MapReduce服务(MRS
CDM有哪些安全防护? CDM是一个完全托管的服务,提供了以下安全防护能力保护用户数据安全。 实例隔离:CDM服务的用户只能使用自己创建的实例,实例和实例之间是相互隔离的,不可相互访问。 系统加固:CDM实例的操作系统进行了特别的安全加固,攻击者无法从Internet访问CDM实例的操作系统。
数据治理模块域 数据治理主要专注于如下模块域: 数据集成 数据集成用来完成数据入湖动作,不是简单的数据搬家,而是按照一定的方法论进行数据备份。数据入湖的前提条件是满足6项数据标准,包括:明确数据Owner、发布数据标准、定义数据密级、明确数据源、数据质量评估、元数据注册。此标准由
华为联合亿信华辰提供数据入表全方位助力 作为Gartner认可的数据资产管理标杆厂商、IDC认证的中国数据治理解决方案市场第一厂商,亿信华辰一直走在数据资产化前列。面对数据入表的需求,亿信华辰不仅提供全套数据治理软件,让数据采集、加工、治理、应用更加便捷。还为企业搭建数据入表所需
在需要下线的汇总表右侧,单击“更多 > 下线”,系统弹出“提交下线”对话框。 在下拉菜单中选择审核人。 单击“确认提交”。 汇总表下线后,API的如何处理由客户在数据服务中根据实际情况决定,数据架构侧不会对API做任何处理。 关联质量规则 在汇总表列表中,勾选所需要关联质量规则的汇总表,
同步,且不支持为空间权限集关联角色;而权限集可通过权限同步进行权限管控(实际使用时,更推荐通过权限集关联角色进行权限管控)。 本章主要描述如何通过创建权限集和配置权限集进行权限管控,在实际使用中更加推荐您通过配置角色进行权限管控。 前提条件 配置权限集前,已完成空间权限集的配置,请参考配置空间权限集。
务上的数据库中。其中,标识符、数据类型、表示格式、值域是数据交换的基础,它们用于描述表的字段元信息,规范字段所存储的数据信息。 本章节介绍如何创建数据标准,创建好的数据标准,可用于在关系建模中新建业务表时与业务表中的字段相关联,从而约束业务表中的字段遵从指定的数据标准。 约束与限制