检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
规则管理”。 单击“新建”,在弹出的对话框中,参见表2配置相关参数,新建规则。 表2 配置业务规则参数 参数名 说明 规则名称 业务规则的名称,只能包含中文、英文字母、数字、“_”,且长度为1~64个字符。 描述 为更好的识别业务规则,此处加以描述信息。描述信息长度不能超过4096个字符。
连接MongoDB的用户名。 cdm 密码 连接MongoDB的密码。 - 直连模式 适用于主节点网络通,副本节点网络不通场景。 说明: 直连模式服务器列表只能配一个ip。 直连适用于主节点网络通,副本节点网络不通场景。 否 连接属性 自定义连接属性,支持MongoDB属性,单位为ms。连接属性如下:
其他账号及其归属用户调用。如有需要可以通过白名单授权的方式授权给其他账号,详见通过白名单授权IAM认证方式API。 IAM认证方式的API只能授权给IAM类型的应用。 如果对无认证方式的API进行应用授权,则系统会忽略此操作。 IAM类型的应用每个DataArts Studio实
资源管理”。 在资源目录中,单击,弹出“新建目录”页面,配置如表1所示的参数。 表1 资源目录参数 参数 说明 目录名称 资源目录的名称,只能包含英文字母、数字、中文字符、“_”、“-”,且长度为1~32个字符。 选择目录 选择该资源目录的父级目录,父级目录默认为根目录。 单击“确定”,新建目录。
图2 新建集成作业(方式二) 在弹出的“新建集成作业”页面,配置如表1所示的参数。 表1 作业参数 参数 说明 作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符。 作业类型 选择作业的类型,须选择实时处理。 离线处理:对已收
单击“批作业监控”页签,进入批作业监控界面。 批作业监控提供了对批处理作业的状态进行监控的能力。您可以查看批作业的调度状态、调度频率、调度开始时间等信息,勾选作业名称前的复选框,并进行“执行调度”/“停止调度”/“通知配置”,相应操作。 图20 批量处理作业 单击左侧导航栏,选择“运维调度 > 实例监控”,进入实例监控界面。
getNodeStatus("test")} String getNodeOutput(String nodeName) 获取指定节点的输出。此方法只能获取前面依赖节点的输出。 获取test节点输出。 #{Job.getNodeOutput("test")} 当前一节点执行无结果时,输出结果为“null”。
getNodeStatus("test")} String getNodeOutput(String nodeName) 获取指定节点的输出。此方法只能获取前面依赖节点的输出。 获取test节点输出。 #{Job.getNodeOutput("test")} 当前一节点执行无结果时,输出结果为“null”。
在作业目录中,右键单击目录名称,选择“新建目录”。 在弹出的“新建目录”页面,配置如表1所示的参数。 表1 作业目录参数 参数 说明 目录名称 作业目录的名称,只能包含英文字母、数字、中文字符、“_”、“-”,且长度为1~64个字符。 选择目录 选择该作业目录的父级目录,父级目录默认为根目录。 单击“确定”,新建目录。
简单模式:传统的DataArts Studio工作空间模式。简单模式工作空间下,DataArts Studio数据开发组件以及对应管理中心组件无法设置开发环境和生产环境,只能进行简单的数据开发,无法对数据开发流程和表权限进行强管控。一个数据湖作为DataArts Studio的生产环境。 图5 简单模式工作空间
> 指标管理”。 单击“新建”,在弹出的对话框中,参见表2配置相关参数。 表2 配置业务指标参数 参数名 说明 指标名称 业务指标的名称,只能包含中文、英文字母、数字、“_”,且长度为1~64个字符。 数据连接 从下拉列表中选择已创建的数据连接。 说明: 支持的数据连接类型:DWS、MRS
环境变量的key为dli.sql.autoBroadcastJoinThreshold的值只能为整数,环境变量的key为dli.sql.shuffle.partitions的值只能为正整数。 如果作业和脚本中同时配置了同名的参数,作业中配置的值会覆盖脚本中的值。 说明: 用户
Redis连接固定选择为Redis。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。
Hive连接固定选择为Apache Hive。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。
如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表3 Connection参数说明 参数名 是否必选 参数类型 说明 name 是 String 连接名称,只能包含四种字符:英文字母、数字、中划线和下划线,且长度小于等于100个字符。连接名称不能重复。 type 是 String 连接类型,包含:
Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。 选择“数据地图 > 标签管理”。 单击“新建”,新建标签。 标签名称:只能包含中文、英文字母、数字和下划线,不能以下划线开头。且长度不能超过100个字符。 描述:标签的描述信息,长度不能超过255个字符。 勾选标签,单击“删除”,可删除标签。
中的“es_link”。 索引:单击输入框后面的按钮,可选择本地Elasticsearch数据库中的一个索引,也可以手动输入索引名称,名称只能全部小写。需要一次迁移多个索引时,这里可配置为通配符,CDM会迁移所有符合通配符条件的索引。例如这里配置为cdm*时,CDM将迁移所有名称
GBASE连接固定选择为GBASE。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。
如果需要查询其他工作空间的数据,需要带上该消息头。 表3 Connection参数说明 参数名 是否必选 参数类型 说明 name 是 String 连接名称,只能包含五种字符:英文字母、数字、中划线和下划线,且长度小于等于100个字符。连接名称不能重复。 type 是 String 连接类型,包含:
M需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式。 linkConfig.cloudtableUser 是 String 登录CloudTable集群的用户名。