检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
移动作业/作业目录 您可以通过移动功能把作业文件或作业目录从当前目录移动到另一个目录。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
例如,最低保留期限设置为24小时,则此API发布后需要停用时,停用时间必须选择在发布24小时后,即发布第二天之后。如果期间内已授权用户已完成审核中心通知列表消息处理或解绑应用与API的绑定关系,则会直接停用;如果未完成,则会以待停用状态等待达到停用时间,强制停用。 入参定义 配置调用API需要输入的参
配置导入的API是否需要发布,默认不发布。仅专享版支持该参数。 仅导入API:仅导入API,导入后的API为“未发布”状态。 导入API并发布到当前空间所有集群:导入API,并发布到当前工作空间的所有集群上。如果没有集群,则不发布只导入。 是否覆盖 配置导入的重名API是否需要更新,默认不更新。仅专享版支持该参数。
Data Migration 功能 该节点用于执行一个集成作业,Data Migration节点支持离线处理集成作业和实时处理集成作业。 参数 用户可参考表1和表2配置Data Migration节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含
描述信息。支持的长度为0~600个字符。 表达式 *设定表达式 选择所需要的衍生指标或复合指标,并根据实际需求在“表达式”中设置表达式。 同比增长率 *同比配置 选择年同比、月同比或者周同比。 *设定衍生指标 选择所需要的衍生指标,此处仅展示有时间限定衍生指标。系统会根据同比配置,利用时间限定自动计算同比增长率。
> 脚本开发”。 单击脚本目录中的,选择“显示复选框”。 勾选需要导出的脚本,单击 > 导出脚本。导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。 图1 选择并导出脚本 在弹出的“导出脚本”界面,选择需要导出的脚本的状态,单击“确定”。 图2 导出脚本 导入脚本 导入
Python脚本开发的样例教程请参见开发一个Python脚本。 前提条件 已新增Python脚本,请参见新建脚本。 已新建主机连接,该Linux主机配有用于执行Python脚本的环境。新建主机连接请参见主机连接参数说明。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。
同,您需要修改工作空间的企业项目。 说明: 当同一Agent连接多个MRS集群时,如果其中一个MRS集群被删除或状态异常,会影响另外一个正常的MRS集群数据连接。因此建议一个Agent对应一个MRS集群数据连接。 说明: 当同一Agent连接多个MRS集群时,如果其中一个MRS集
Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。 说明: 当同一Agent连接多个MRS集群时,如果其中一个MRS集群被删除或状态异常,会影响另外一个正常的MRS集群数据连接。因此建议一个Agent对应一个MRS集群数据连接。 说明: 当绑定Agent选择的CDM集群为2
云服务之间的关系 如果多个云服务一起搭配使用,需要注意不同区域的云服务内网不互通。 例如DataArts Studio(包括管理中心、CDM等组件)需要与MRS、OBS等服务互通时,如果DataArts Studio与其他云服务处于不同区域的情况下,需要通过公网或者专线打通网络;而在同区域
Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。 说明: 当同一Agent连接多个MRS集群时,如果其中一个MRS集群被删除或状态异常,会影响另外一个正常的MRS集群数据连接。因此建议一个Agent对应一个MRS集群数据连接。 KMS密钥 是 通过代理连接时,是必选项。
Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。 说明: 当同一Agent连接多个MRS集群时,如果其中一个MRS集群被删除或状态异常,会影响另外一个正常的MRS集群数据连接。因此建议一个Agent对应一个MRS集群数据连接。 KMS密钥 否 通过代理连接时,是必选项。
在开启审批开关后,需要填写该字段。表示创建作业的目标状态,有三种状态:SAVED、SUBMITTED和PRODUCTION,分别表示作业创建后是保存态,提交态,生产态。 保存态表示作业仅保存,无法调度运行,需要提交并审核通过后才能运行。 提交态表示作业保存后会自动提交,需要审核通过才能运行。
示例场景说明 本示例是一个DataArts Studio全流程入门教程,旨在介绍如何在DataArts Studio平台完成端到端的全流程数据运营。 本案例基于某市的出租车出行数据,选择MRS Hive作为数据湖底座,使用DataArts Studio实施全流程数据治理。期望通过实施数据治理达到以下目标:
Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。 说明: 当同一Agent连接多个MRS集群时,如果其中一个MRS集群被删除或状态异常,会影响另外一个正常的MRS集群数据连接。因此建议一个Agent对应一个MRS集群数据连接。 FE IP 是 MRS集群
Spark数据源,如果使用一套相同的集群,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离。 数据准备与同步: 数据湖服务创建完成后,您需要按照项目规划(例如数据开发需要操作的库表等),分别在开发和生产环境的数据湖服务中,新建数据库、数据库模式(仅DWS需要)、数据表等。 对于集群化
Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。 说明: 当同一Agent连接多个MRS集群时,如果其中一个MRS集群被删除或状态异常,会影响另外一个正常的MRS集群数据连接。因此建议一个Agent对应一个MRS集群数据连接。 KMS密钥 是 通过KMS
Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。 说明: 当同一Agent连接多个MRS集群时,如果其中一个MRS集群被删除或状态异常,会影响另外一个正常的MRS集群数据连接。因此建议一个Agent对应一个MRS集群数据连接。 KMS密钥 是 通过KMS
Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。 说明: 当同一Agent连接多个MRS集群时,如果其中一个MRS集群被删除或状态异常,会影响另外一个正常的MRS集群数据连接。因此建议一个Agent对应一个MRS集群数据连接。 Manager IP 否 使用连接串模式时,是必选项。
通过“响应消息体解析为传递参数定义”获取返回值 如图1所示,第一个Rest Client调用了MRS服务查询集群列表的API,图2为API返回值的JSON消息体。 使用场景:需要获取集群列表中第一个集群的cluster Id,然后作为参数传递给后面的节点使用。 关键配置:在第一个Rest Client的“响应消