检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数类型 描述 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。
获取Rest Client节点返回值教程 Rest Client节点可以执行华为云内的RESTful请求。 本教程主要介绍如何获取Rest Client的返回值,包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值 通过EL表达式获取返回值 通过“响应消息体解析为传递参数定义”获取返回值
X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type
Hive SQL运行完以后,在执行结果中查看运行日志,增加一键跳转MRS Yarn查看日志的链接。 企业模式下,开发作业时,单击页面上方的“前往发布”跳转到任务发布页面。 支持对“已提交”、“未提交”、“已调度”和“未调度”的作业进行筛选。同时未提交的作业通过红色进行标识,未调度的作业通过黄色进行标识。
查看上报的监控数据和监控视图。 操作步骤 进入CDM主界面,选择“集群管理”,选择集群操作列中的“更多 > 查看监控指标”。 在CDM监控页面,可查看所有监控指标的小图。 图1 查看监控指标 单击小图右上角的,可进入大图模式查看。 您可以在左上角选择时长作为监控周期,查看一段时间的指标变化情况。
维度建模 维度建模是从分析决策的需求出发构建模型,它主要是为分析需求服务,因此它重点关注用户如何更快速地完成需求分析,同时具有较好的大规模复杂查询的响应性能。 多维模型是由数字型度量值组成的一张事实表连接到一组包含描述属性的多张维度表,事实表与维度表通过主/外键实现关联。 典型的维度模
Studio数据质量模块,单击左侧导航菜单“对账作业”。 单击“新建”,配置对账作业的基本信息,如下图所示。 图1 配置基本信息 单击“下一步”,进入规则配置页面。您需要单击规则卡片中的,然后配置对账规则,如下图所示。 需要分别配置源端和目的端的信息。配置源端连接请参见DWS数据连接参数说明,配置目的端连接请参见DLI数据连接参数说明。
配置并行处理算子 并行处理算子可以同时执行多个分支逻辑,分支间互不影响。 表1 并行处理算子 参数 说明 失败策略 当并行分支中存在失败情况时,配置API工作流的失败策略。 任一分支失败则终止:表示当并行分支中存在失败情况时,则此API工作流置为失败状态,不再继续执行。 分支失败
间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 导入模式 导入数据到DWS时,用户可以指定导入模式。 COPY模式,源数据经过管理节点后,复制到DWS的DataNode节点。 UPSERT模式,数据发生主键或唯一约束冲突
配置HBase 目的端参数 表1 Hbase作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实
X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 表3 请求Body参数
算法类型。 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 在数据安全控制台左侧的导航树中单击“脱敏算法”,进入脱敏算法页面。 单击“新建”,新建脱敏算法。 图1 新建脱敏算法 新建脱敏算法参数配置请参考表2,参数配置完成单击“确定”即可。
SQL、HetuEngine SQL、Python、Spark Python和Impala SQL脚本。脚本每执行一次,生成一个脚本实例。执行脚本接口是一个异步命令,需要通过查询脚本实例执行结果获取执行状态和结果。 DLI SQL和Presto SQL不支持多语句场景。 调试 您可以在API Exp
Studio控制台,找到所需要的DataArts Studio实例,单击实例卡片上的“进入控制台”,进入概览页面。 单击第一个工作空间A的“数据开发”,系统跳转至数据开发页面,新建数据开发作业job1。分别选择Dummy节点和DIS Client节点,选中连线图标并拖动,编排如图2所示的作业。
什么是数据血缘关系? 大数据时代,数据爆发性增长,海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息,通过联姻融合、转换变换、流转流通,又生成新的数据,汇聚成数据的海洋。 数据的产生、加工融合、流转流通,到最终消亡,数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数
table2_name String 表2名称。 join_type String 关联类型。 枚举值: LEFT: 左外连接 RIGHT: 右外连接 INNER: 内连接 FULL: 全连接 join_fields Array of MappingJoinFieldVO objects on条件。
X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type
参数类型 描述 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。
参数类型 描述 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。
参数类型 描述 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。