检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果您需要对大数据服务数据表进行读表和写表操作，建议参考以下方式之一进行串行操作处理： 将读表和写表操作拆分为同一作业的不同节点，两个节点通过连线建立先后执行关系，避免同时执行冲突。 将读表和写表操作拆分为两个不同的作业，两个作业之间设置依赖关系，避免同时执行冲突。
如果CDM作业使用了在数据开发时配置的作业参数或者变量，则后续在DataArts Studio数据开发模块调度此节点，可以间接实现CDM作业根据参数变量进行数据迁移。 父主题： 数据集成
配置OBS桶 脚本、作业或节点的历史运行记录依赖于OBS桶，如果未配置测试运行历史OBS桶，则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 约束限制 OBS路径仅支持OBS桶，不支持并行文件系统。
可能原因 存在多个DataArts Studio作业同时调度同一个CDM任务节点，导致两个作业的事务id冲突报错。 解决方案 调整DataArts Studio作业调度时间，保证同一时间只保留一个调度任务。 父主题： 数据开发
startTime 是 Long 节点实际执行开始时间。 endTime 否 Long 节点实际执行结束时间。
创建资源 功能介绍 创建一个新资源，作业节点类型MRS Spark、MRS MapReduce、DLI Spark可以通过资源引用JAR、properties等文件。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。
查询资源详情 功能介绍 查询资源详情，一个资源包含jar、zip、properties等文件，已经创建的资源在DLI Spark、MRS Spark等作业节点中使用。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。
实时处理作业可以配置节点级别的调度任务，即每一个节点可以独立调度，具体请参见配置节点调度任务（实时作业）。 模式 Pipeline：即传统的流水线式作业，作业通过画布编辑，可以拖入一个或多个节点组成作业，各节点依次被流水线式地执行。
在pipeline作业开发中，MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本，同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板。 在Flink SQL单任务作业中引用脚本模板。
MRS节点优先级功能包含节点：MRS Spark SQL、MRS Hive SQL、MRS Spark、MRS Flink Job、MRS MapReduce。 要想hive的优先级生效，请联系运维工程师打开MRS Hive优先级配置项的开关。
如果该作业当时只有部分节点执行测试，则运行历史只展示参与测试运行的节点信息和日志信息。 父主题： 数据开发
终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。本服务的Endpoint您可以从终端节点Endpoint获取。 创建Shell脚本 如下示例是创建shell脚本的配置。
- 导入模式 COPY模式：将源数据经过DWS管理节点后复制到数据节点。如果需要通过Internet访问DWS，只能使用COPY模式。 COPY 单击“保存”完成创建连接。 创建迁移作业 选择“表/文件迁移 > 新建作业”，开始创建从Oracle导出数据到DWS的任务。
图2 获取实例ID和工作空间ID 获取终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。 数据治理中心的终端节点Endpoint构造规则如下，请您根据业务需要选择对应区域的终端节点。 CDM数据集成接口：cdm.
然后进入到作业开发页面，拖动DWS SQL节点到画布中并单击，配置节点的属性。 图2 配置DWS SQL节点属性 关键属性说明： SQL脚本：关联开发DWS SQL脚本中开发完成的DWS SQL脚本“dws_sql”。
表达式标准写法为：${节点编码|变量名}，定义方法如表2所示。 节点编码：由系统动态分配，不可改动。您可以在API编排的画布中，单击节点后在节点详情中查看节点编码，并支持通过复制节点编码。 图1 查看节点编码 变量名：支持的变量包括请求参数值和结果集相关参数，详情请参见表2。
图1 配置请求头参数 解决方法 配置作业节点的请求头参数。 在“参数值”里面引入变量名称，例如{para}。 图2 配置请求头参数 配置作业参数。 单击“作业参数配置”，进入“作业参数配置”界面。 在“变量”里面输入该变量para和变量值。该值的大小不能超过1024个字符。
鼠标光标悬停在作业节点上，该作业节点会被标记为绿色，上游作业会被标记为青蓝色，下游作业会被标记为橙黄色。 图6 上下游作业节点标记 在作业节点上右键单击，可进行查看作业、复制作业名称、收起上/下游作业等操作。 图7 作业节点操作 另外，作业的节点监控信息还可以通过作业详情查看。
当为工作空间分配队列资源后，在数据开发组件在为作业节点配置队列资源时，可选择的队列为当前空间下已分配的队列资源。 当前支持在选择MRS Yarn队列时，从已分配的队列资源获取队列列表。如果未分配队列资源，则只支持选择root.default队列。
开发作业时，您需要配置节点属性参数和调度周期。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 图2 节点参数 如果作业所关联的SQL脚本使用了参数，此处显示脚本参数名称（例如DATE），请在参数名称后的输入框配置参数值。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
