检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自动续费:勾选自动续费前的复选框,可实现自动按月或者按年续费。购买时长为按月购买时,自动续费周期为1个月;购买时长为按年购买时,自动续费周期为1年。 单击“立即购买”,确认规格后提交订单。 购买套餐包成功后,系统配额会在默认规格基础上,增加增量包的规格。 父主题: 购买DataArts Studio增量包
发页面。 在“作业开发”页面,新建数据开发作业,然后分别选择CDM节点和两个Dummy节点,选中连线图标并拖动,编排图1所示的作业。 其中CDM节点的失败策略需要设置为“继续执行下一节点”。 图2 配置CDM节点的失败策略 右键单击连线,选择“设置条件”,在弹出的“编辑EL表达式”文本框中输入IF条件。
如图2所示。 图2 基本信息 操作步骤 购买数据服务专享集群增量包,系统会按照您所选规格自动创建一个数据服务专享集群。 单击已开通实例卡片上的“购买增量包”。 进入购买DataArts Studio增量包页面,参见表1进行配置。 表1 购买数据服务专享版实例参数说明 参数项 说明
自动续费:勾选自动续费前的复选框,可实现自动按月或者按年续费。购买时长为按月购买时,自动续费周期为1个月;购买时长为按年购买时,自动续费周期为1年。 单击“立即购买”,确认规格后提交订单。 购买套餐包成功后,系统配额会在默认规格基础上,增加增量包的规格。 父主题: 购买DataArts Studio增量包
购买实例 DataArtsStudio实例一键购买接口 父主题: 管理中心API
单击“保存”,对设置的配置项进行保存。 节点超时是否重试 对于作业节点运行超时导致失败的作业,可选择是否支持重试。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 单击“默认项设置”,可设置“节点超时是否重试”配置项。 配置节点运行超时是否重试。 否:作业节点运行超时导致失败后,不重新执行节点。 是,
如何查看套餐包的剩余时长? 套餐包的剩余时长需要在官网查询。 您可以进入华为云官网,在用户名下拉列表中选择“费用中心”,然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 父主题: 咨询与计费
如果当前绑定区域没有对应资源组,购买套餐包后不会消耗所购买的时长;但在生效期内,若未使用资源组,套餐包也不会延期。建议您先安排好服务使用计划,再购买套餐包。 如果您希望享受套餐包的优惠价格,需要先购买一个“套餐包”增量包,再购买一个和套餐包具有相同区域和规格的“按需计费”增量包。 如果您先购买一个“按需
Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中,MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本,同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板。 在Flink SQL单任务作业中引用脚本模板。 在Flink
修改主机信息”,按照输入框提示的格式填写MRS集群所有节点的IP和域名。 图6 修改主机信息 查看MRS集群节点IP和域名的方式: 打开MRS页面,进入用户的MRS集群,单击“节点管理”页签,展开所有节点组,可以看到各节点IP、节点名称即是域名。 须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。
管理资源 用户可以通过资源管理功能,上传自定义代码或文本文件作为资源,在节点运行时调用。可调用资源的节点包含DLI Spark、MRS Spark、MRS MapReduce和DLI Flink Job。 创建资源后,配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更,
指定承载REST服务端点的服务器域名或IP,不同服务不同区域的Endpoint不同。 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服务的Endpoint您可以从终端节点Endpoint获取。 例如IAM服务在“华北-北京四”区域的Endpoint为“iam
在数据资产搜索结果中,类型名称末尾带“_node”的数据资产为节点,单击某一节点名称,可以查看节点的详情。在节点(需是支持血缘的节点类型)详情页面,可以查看节点的血缘信息。 单击血缘图中节点左右两端“+”、“-”图标,可以进一步展开查看血缘的上下链路。 单击血缘图中的某一个节点,可以查看该节点的详情。 进入“作业”页
拖动所需的节点至画布,鼠标移动到节点图标上,选中连线图标并拖动,连接到下一个节点上。 每个作业建议最多包含200个节点。 图1 编排作业 配置节点功能。右键单击画布中的节点图标,根据实际需要选择如表1所示的功能。 表1 右键节点功能 功能 说明 配置 进入该节点的“节点属性”页面。
志。 手工重试 节点的状态为“失败”时,支持重新运行节点。 节点的状态为“运行异常”时,支持进行手工重试。 说明: 只有节点的“节点属性 > 高级 > 失败策略”设置为“挂起当前作业执行计划”时,才可以执行该操作。 强制成功 节点的状态为“失败”时,支持将该节点强制变更为“成功”
CDM集群已经创建成功后,您可以查看集群基本信息,并修改集群的配置。 查看集群基本信息: 集群信息:集群版本、创建时间、项目ID、实例ID和集群ID等。 节点配置:集群规格、CPU和内存配置等信息。 网络信息:网络配置。 支持修改集群的以下配置: 消息通知:CDM的迁移作业(目前仅支持表/文件迁
Dummy: 空节点作业类型 location 是 Location数据结构 节点在作业画布上的位置,参考表7。 preNodeName 否 List<String> 本节点依赖的前面的节点名称列表。 conditions 否 List<Condition> 节点执行条件,如果配
及其直接上下游”。 视图右上角支持按节点名称进行搜索,搜索出来的作业节点高亮显示。 单击下载按钮,可以下载作业的依赖关系文件。 鼠标滚轮可放大、缩小关系图。 鼠标按住空白处,可自由拖拽用以查看完整关系图。 鼠标光标悬停在作业节点上,该作业节点会被标记为绿色,上游作业会被标记为蓝色,下游作业会被标记为黄色。
怎么办? 问题现象 查看数据开发的节点日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限”,如下图所示: 图1 提示信息 原因分析 数据开发的日志存储在OBS桶中,您所在的用户组没有OBS的操作权限,导致在查看节点日志时系统提示报错,或者OBS日志文件不存在时系统提示报错。
数据迁移进阶实践 本最佳实践提供了数据集成CDM组件的高阶使用技巧,例如如何实现增量迁移、时间宏变量表达式写法等。 数据开发 数据开发进阶实践 本最佳实践提供了数据开发DLF组件的高阶使用技巧,例如如何使用IF条件判断、For Each节点使用等。 DataArts Studio+X 跨工作空间的DataArts