检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持单击“自动解析依赖”对作业依赖关系进行自动识别。 说明: 跨工作空间的作业依赖规则,请参见作业依赖规则。 数据开发当前支持两种调度依赖策略:传统周期调度依赖和自然周期调度依赖。这两种周期调度依赖只能选择其中一种。
MRS Hive SQL 功能 通过MRS Hive SQL节点执行数据开发模块中预先定义的Hive SQL脚本。 MRS Hive SQL节点的具体使用教程,请参见开发一个Hive SQL作业。 MRS Hive SQL节点不支持Hive的事务表。 参数 用户可参考表1,表2和表
MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程,请参见开发一个MRS Spark Python作业。 参数 用户可参考表1,表2和表3配置
复制脚本 本章节主要介绍如何复制一个脚本。 前提条件 已完成脚本开发,请参见开发脚本。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面
MRS Spark 功能 通过MRS Spark节点实现在MRS中执行预先定义的Spark作业。 参数 用户可参考表1,表2和表3配置MRS Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、
MRS Flink Job 功能 通过MRS Flink Job节点执行数据开发模块中预先定义的Flink SQL脚本和Flink作业。 MRS Flink Job节点的具体使用教程,请参见开发一个MRS Flink作业。 参数 用户可参考表1和表2配置MRS Flink节点的参数
获取申请详情 功能介绍 获取申请详情。此功能仅用作信息详情展示,不用做业务处理,因此不展示编号等后台参数。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/applys/{apply_id} 表1 路径参数 参数 是否必选 参数类型
Flink Jar作业开发指导 本指导提供用户端到端的开发一个Flink Jar作业的整体流程,帮助用户快速的创建一个Flink Jar作业并进行调度。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio
开发实时处理单任务DLI Spark作业 前提条件 参见新建作业创建一个实时处理的单任务DLI Spark作业。 配置DLI Spark作业 表1 配置属性参数 参数 是否必选 说明 作业名称 是 输入DLI Spark作业名称。 作业名称只能包含英文字母、数字、下划线和中划线,且长度为
主机连接参数说明 表1 主机连接 参数 是否必选 说明 数据连接类型 是 主机连接固定选择为主机连接。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文
MRS Spark SQL 功能 通过MRS Spark SQL节点实现在MRS中执行预先定义的SparkSQL语句。 参数 用户可参考表1,表2和表3配置MRS Spark SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未设置
API授权操作(授权/取消授权/申请/续约) 功能介绍 API主动授权: API审核人可发起,API主动授权成功后,在有效期内,APP即可访问该API。API授权包含授权和续约两部分功能。 授权:授权会给予APP在有效期内访问API的权利。 续约:续约会更新授权有效期,仅支持延长有效期
开发实时处理单任务MRS Flink Jar作业 前提条件 参见新建作业创建一个实时处理的单任务Flink Jar作业。 配置MRS Flink Jar作业 表1 配置MRS Flink Jar作业属性参数 参数 是否必选 说明 Flink作业名称 是 输入Flink作业名称。 系统支持
日期和时间模式 EL表达式中的日期和时间可以按用户指定的格式进行显示,日期和时间格式由日期和时间模式字符串指定。日期和时间模式字符串由A到Z、a到z的非引号字母组成,字母的含义如表1所示。 表1 字母含义 字母 描述 示例 G 纪元标记 AD y 年 2001 M 年中的月份 July
新建离线处理集成作业 约束限制 离线处理集成作业不支持在企业模式下运行。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
复制名称和重命名作业 您可以通过复制名称功能复制当前作业名称,通过重命名功能修改当前作业名称。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 复制名称 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
管理动态脱敏策略 在数据安全组件创建动态脱敏策略后,系统会将动态脱敏策略同步到数据源服务,由数据源对数据列按照指定规则进行动态脱敏。当策略中指定的用户和用户组在访问敏感数据时,系统会直接返回由数据源动态脱敏后的数据,保护敏感数据不被泄露。 值得注意的是,动态脱敏策略为DataArts
逻辑模型 逻辑模型是利用实体及相互之间的关系,准确描述业务规则的实体关系图。逻辑模型要保证业务所需数据结构的正确性及一致性,使用一系列标准的规则将各种对象的特征体现出来,并对各实体之间的关系进行准确定义。 同时,逻辑模型也为构建物理模型提供了有力的参考依据,并支持转换为物理模型,是最终成功设计数据库过程中必不可少的一个阶段
Python 使用Python节点前,需确认对应主机连接的主机配有用于执行Python脚本的环境。 功能 通过Python节点执行Python语句。 Python节点的具体使用教程,请参见开发一个Python脚本。 Python节点支持脚本参数和作业参数。 参数 用户可以参考表1和表
DIS数据连接参数说明 表1 DIS连接 参数 是否必选 说明 数据连接类型 是 DIS连接固定选择为DIS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称