检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从错误节点开始重跑:作业实例执行失败时,从实例执行失败的错误节点开始重跑。 从第一个节点开始重跑:从作业实例的第一个节点开始重跑。 从指定的节点开始重跑:从作业实例中指定的节点开始重跑。仅当“重跑类型”选择“重跑当前实例”时有此选项。 说明: 以下两种情况,系统运行会从第一个节点开始重跑。
表抽取范围的Where子句,不配置时抽取整表。如果待迁移的表中没有Where子句的字段,则迁移失败。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 age > 18 and age <= 60 分区字段是否允许空值 选择分区字段是否允许空值。
作业消息体的一部分,推荐使用该方式。 分组设置 否 当“资源类型”选择“DLI程序包”时,才需要配置该参数。 将Spark程序资源包上传到指定的分组中,主Jar包和依赖包会上传到同一个分组中。 已有分组:选择已有的分组 创建新分组:创建新的分组,分组名称只能包含英文字母、数字、点号、中划线和下划线。
提交表权限申请 功能介绍 提交表权限申请 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/permission-application/table 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
留了表的完整数据,造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。 HASH:采用这种分布方式,需要为用户表指定一个分布列(distribute key)。当插入一条记录时,系统会根据分布列的值进行hash运算后,将数据存储在对应的DN中。对于Has
Token、用户名密码两种认证鉴权方式的RESTful请求。 主机连接 通过主机连接,用户可以在DataArts Studio数据开发中连接到指定的主机,通过脚本开发和作业开发在主机上执行Shell或Python脚本。主机连接保存连接某个主机的连接信息,当主机的连接信息有变化时,只需
点将被跳过。 此Demo中使用的EL表达式为“#{Job.getNodeStatus("node_name")}”,这个表达式的作用为获取指定节点的执行状态,成功状态返回success,失败状态返回fail。本例使用中,IF条件表达式分别为: 上面的A分支IF条件表达式为: #{(Job
点将被跳过。 此Demo中使用的EL表达式为“#{Job.getNodeStatus("node_name")}”,这个表达式的作用为获取指定节点的执行状态,成功状态返回success,失败状态返回fail。本例使用中,IF条件表达式分别为: 上面的A分支IF条件表达式为: #{(Job
编排API简介 数据服务API编排是指将已经开发好的服务API接口,在无需编写复杂代码的情况下,根据特定的业务逻辑和流程进行可视化的重组和重构,从而实现在不影响原生接口的前提下进行简便的二次开发。API编排为您提供拖拽式、可视化的API工作流程编排能力,您可以按照业务逻辑,以串行
配置权限集 在数据访问权限管理的实际场景下,通常会有一级部门、二级部门、三级部门等多级权限的划分。为此,数据安全组件提供了自上而下分层式的数据权限管理方式。您可以通过空间权限集配置工作空间内的最大权限,在此基础上,将其向下拆分出新的子权限集,提供进一步的细分权限管理。 权限集本质
配置空间权限集 在数据访问权限管理的实际场景下,通常会有一级部门、二级部门、三级部门等多级权限的划分。为此,数据安全组件提供了自上而下分层式的数据权限管理方式。您可以通过空间权限集配置工作空间内的最大权限,在此基础上,将其向下拆分出新的子权限集,提供进一步的细分权限管理。 空间权限集作为DataArts
新建表/文件迁移作业 操作场景 CDM可以实现在同构、异构数据源之间进行表或文件级别的数据迁移,支持表/文件迁移的数据源请参见支持的数据源。 约束限制 记录脏数据功能依赖于OBS服务。 作业导入时,JSON文件大小不超过1MB。 单文件传输大小不超过1TB。 配置源端和目的端参数时,字段名不可包含&和%。
如果从其他数据源逆向过来的表,在逻辑实体中已存在同名的表,选择是否更新已有的逻辑实体。 名称来源 逆向后表名称/字段名称的来源,可以是描述或者是相应英文名,如表/字段未指定描述则固定使用英文名。 来自描述 来自英文名称 *数据表 选择全部或部分需导入的数据表。 图10 逆向配置 逆向数据库的结果会在“上次逆向
表的完整数据,造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。 HASH方式:采用这种分布方式,需要为用户表指定一个分布列(distribute key)。当插入一条记录时,系统会根据分布列的值进行hash运算后,将数据存储在对应的DN中。对于Has
可选择输出全部的异常数据,或者设定数量的异常数据。 异常表SQL 当“规则类型”选择“自定义规则”时,需要配置该参数。此处需输入完整的SQL语句,指定输出哪些数据是异常数据。 查看相同规则 单击后可查看如下相同规则: 能够根据表和字段判断规则的重复性。 提示已存在相关子规则和质量作业,您可看到已有规则。