检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API连接”还是“通过代理连接”。 “MRS API连接”模式下DataArts Studio通过API把脚本提交给MRS，然后查询是否执行完成；而MRS不会将具体的错误原因反馈到DataArts Studio，因此导致数据开发脚本执行界面只能显示执行成功还是失败。 “通过代理连接”模式下DataArts
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 基础与网络连通配置 OBS终端节点 是 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息： OBS桶的Endpoint，可以进
MRS集群主Master节点获取，执行ifconfig命令，回显中eth0:wsom的IP就是MRS Manager的浮动IP。登录MRS集群Master节点请参见登录集群节点章节，如果登录的是非主Master节点无法查询，请切换到另一个Master节点查询。 手动填写IP时请根据场景和顺序填写，多个IP之间使用"
Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中，MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本，同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板。 在Flink SQL单任务作业中引用脚本模板。 在Flink
好地做到数据安全管控。 前提条件 为实现MRS Hive数据源的数据访问审计，需要满足如下条件： MRS Hive数据连接中选择Agent代理的CDM集群为2.10.0.300及以上版本。 MRS Hive数据连接中的用户账号需要同时满足如下条件： 需要配置至少具备Cluster
Dummy: 空节点作业类型 location 是 Location数据结构 节点在作业画布上的位置，参考表7。 preNodeName 否 List<String> 本节点依赖的前面的节点名称列表。 conditions 否 List<Condition> 节点执行条件，如果配
及其直接上下游”。 视图右上角支持按节点名称进行搜索，搜索出来的作业节点高亮显示。 单击下载按钮，可以下载作业的依赖关系文件。 鼠标滚轮可放大、缩小关系图。 鼠标按住空白处，可自由拖拽用以查看完整关系图。 鼠标光标悬停在作业节点上，该作业节点会被标记为绿色，上游作业会被标记为蓝色，下游作业会被标记为黄色。
CDM集群已经创建成功后，您可以查看集群基本信息，并修改集群的配置。 查看集群基本信息： 集群信息：集群版本、创建时间、项目ID、实例ID和集群ID等。 节点配置：集群规格、CPU和内存配置等信息。 网络信息：网络配置。 支持修改集群的以下配置： 消息通知：CDM的迁移作业（目前仅支持表/文件迁
创建MRS集群时所选择的企业项目与工作空间的企业项目不同。 创建MRS数据连接时所选择的CDM集群和MRS集群网络不互通。 CDM集群作为网络代理，与MRS集群需网络互通才可以成功创建基于MRS的数据连接。 父主题： 管理中心
MRS集群主Master节点获取，执行ifconfig命令，回显中eth0:wsom的IP就是MRS Manager的浮动IP。登录MRS集群Master节点请参见登录集群节点章节，如果登录的是非主Master节点无法查询，请切换到另一个Master节点查询。 手动填写IP时请根据场景和顺序填写，多个IP之间使用"
服务器无法根据客户端请求的内容特性完成请求。 407 Proxy Authentication Required 请求要求代理的身份认证，与401类似，但请求者应当使用代理进行授权。 408 Request Time-out 服务器等候请求时发生超时。 客户端可以随时再次提交该请求而无需进行任何更改。
通过条件筛选，查询CDM作业的调度执行信息。 通过筛选“CDM作业”可以查询CDM作业的调度执行信息。 通过筛选“节点类型 > CDMJob”可以查询CDMJob节点算子的调度执行信息。 图1 批作业监控 父主题： 数据开发
Studio实例中数据开发作业节点运行的并行数上限，与当前实例的作业节点调度次数/天配额有关。 当“作业节点调度次数/天配额<=500”时，节点运行的并行数上限为10。 当“500<作业节点调度次数/天配额<=5000”时，节点运行的并行数上限为50。 当“5000<作业节点调度次数/天配额<
管理资源 用户可以通过资源管理功能，上传自定义代码或文本文件作为资源，在节点运行时调用。可调用资源的节点包含DLI Spark、MRS Spark、MRS MapReduce和DLI Flink Job。 创建资源后，配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更，
CDM作业改名后，在数据开发中如何同步？ 问题描述 CDM作业改名后，在数据开发中不能同步。 解决方案 CDM作业改名后，需要在数据开发作业的CDM节点属性中，重新选择改名后的CDM作业名称。 父主题： 数据开发
是 DataArts Studio无法直接与非全托管服务进行连接，需要提供DataArts Studio与非全托管服务通信的代理。CDM集群可以提供通信代理服务，请选择一个CDM集群，如果没有可用的CDM集群，请参考创建CDM集群进行创建。 数据集成配置 安全模式认证 是 是否安全模式认证。
图2 创建job_hive_sql作业 然后进入到作业开发页面，拖动MRS Hive SQL节点到画布中并单击，配置节点的属性。 图3 配置MRS Hive SQL节点属性 关键属性说明： 节点名称：默认显示为SQL脚本“hive_sql”的名称，支持修改。 SQL脚本：关联开发Hive
怎么办？ 问题现象 查看数据开发的节点日志时，系统提示“OBS日志文件不存在，请检查文件是否被删除或者没有OBS写入权限”，如下图所示： 图1 提示信息 原因分析 数据开发的日志存储在OBS桶中，您所在的用户组没有OBS的操作权限，导致在查看节点日志时系统提示报错，或者OBS日志文件不存在时系统提示报错。
拖动所需的节点至画布，鼠标移动到节点图标上，选中连线图标并拖动，连接到下一个节点上。 每个作业建议最多包含200个节点。 图1 编排作业 配置节点功能。右键单击画布中的节点图标，根据实际需要选择如表1所示的功能。 表1 右键节点功能 功能 说明 配置 进入该节点的“节点属性”页面。
志。 手工重试 节点的状态为“失败”时，支持重新运行节点。 节点的状态为“运行异常”时，支持进行手工重试。 说明： 只有节点的“节点属性 > 高级 > 失败策略”设置为“挂起当前作业执行计划”时，才可以执行该操作。 强制成功 节点的状态为“失败”时，支持将该节点强制变更为“成功”
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
