检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM是否支持参数或者变量？ 解决方案 支持。 如果CDM作业使用了在数据开发时配置的作业参数或者变量，则后续在DataArts Studio数据开发模块调度此节点，可以间接实现CDM作业根据参数变量进行数据迁移。 父主题： 数据集成（CDM作业）
配置OBS桶 脚本、作业或节点的历史运行记录依赖于OBS桶，如果未配置测试运行历史OBS桶，则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 约束限制 OBS路径仅支持OBS桶，不支持并行文件系统。 配置方法 参考访问DataArts Studio实例控制台，登录DataArts
planTime 是 Long 作业实例计划执行时间。 startTime 是 Long 节点实际执行开始时间。 endTime 否 Long 节点实际执行结束时间。 type 是 String 节点类型： HiveSQL： 执行Hive SQL脚本 SparkSQL： 执行Spark
创建资源 功能介绍 创建一个新资源，作业节点类型MRS Spark、MRS MapReduce、DLI Spark可以通过资源引用JAR、properties等文件。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 POST /v1/{
transaction id [xxxx] is invalid。 可能原因 存在多个DataArts Studio作业同时调度同一个CDM任务节点，导致两个作业的事务id冲突报错。 解决方案 调整DataArts Studio作业调度时间，保证同一时间只保留一个调度任务。 父主题： 数据开发
功能介绍 查询资源详情，一个资源包含jar、zip、properties等文件，已经创建的资源在DLI Spark、MRS Spark等作业节点中使用。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 GET /v1/{project_i
您需要规划数据开发服务所在的区域信息，并根据区域确定调用API的Endpoint。 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。本服务的Endpoint您可以从终端节点Endpoint获取。 创建Shell脚本 如下示例是创建shell脚本的配置。
在过滤框中选择“作业”，展示历史7天的作业运行记录。 单击某一条运行记录，可查看当时的作业信息和日志信息。 如果该作业当时只有部分节点执行测试，则运行历史只展示参与测试运行的节点信息和日志信息。 父主题： 数据开发
业是由一个或多个节点组成的业务关系，每个节点可单独被配置调度策略，而且节点启动的任务可以永不下线。在实时作业里，带箭头的连线仅代表业务上的关系，而非任务执行流程，更不是数据流。 实时处理作业可以配置节点级别的调度任务，即每一个节点可以独立调度，具体请参见配置节点调度任务（实时作业）。
hive.security.authorization.sqlstd.confwhitelist配置 保存并重启Hive服务。 MRS节点优先级功能包含节点：MRS Spark SQL、MRS Hive SQL、MRS Spark、MRS Flink Job、MRS MapReduce。
创建一个批处理作业，作业名称为“job_dws_sql”。 然后进入到作业开发页面，拖动DWS SQL节点到画布中并单击，配置节点的属性。 图2 配置DWS SQL节点属性 关键属性说明： SQL脚本：关联开发DWS SQL脚本中开发完成的DWS SQL脚本“dws_sql”。
Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中，MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本，同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板。 在Flink SQL单任务作业中引用脚本模板。 在Flink
在配置作业算子参数时，在添加请求头中时，需要输入参数及参数值，如果该参数的参数值长度超过512个字符时，则不能继续输入，如下图所示。 图1 配置请求头参数 解决方法 配置作业节点的请求头参数。 在“参数值”里面引入变量名称，例如{para}。 图2 配置请求头参数 配置作业参数。 单击“作业参数配置”，进入“作业参数配置”界面。
截断。 导出的作业实例与作业节点存在对应关系。目前不支持通过勾选作业名称导出所勾选的数据，可以通过筛选条件选择需要导出的数据。 单击作业名称，在打开的页面中查看该作业的作业参数、作业属性、作业实例。 单击作业的某个节点，可以查看节点属性、脚本内容、节点监控信息。 同时，您可以查看
0。 图2 获取实例ID和工作空间ID 获取终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。 数据治理中心的终端节点Endpoint构造规则如下，请您根据业务需要选择对应区域的终端节点。 CDM数据集成接口：cdm.{region_id}
脚本编写完成后，保存并提交此脚本的最新版本。 开发一个补数据的批处理作业。开发作业时，您需要配置节点属性参数和调度周期。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 图2 节点参数 如果作业所关联的SQL脚本使用了参数，此处显示脚本参数名称（例如DATE），请在参数
脚本编写完成后，保存并提交此脚本的最新版本。 开发一个补数据的批处理作业。开发作业时，您需要配置节点属性参数和调度周期。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 图2 节点参数 如果作业所关联的SQL脚本使用了参数，此处显示脚本参数名称（例如DATE），请在参数
例如，对于A（入口API）>B（普通API）>C（条件分支）这3个顺序节点，节点C需要取节点A的请求参数值和节点B的输出值： A节点编码为EntryApi_3909f，入参userId位置为Path。 取A节点请求参数值：${EntryApi_3909f|userId}。 B节点编码为NormalApi_4246f
当前队列分配和队列权限管控均为白名单机制。即如果未分配队列，则无法选择队列；如果队列未对用户授权，则用户无法使用队列。 当为工作空间分配队列资源后，在数据开发组件在为作业节点配置队列资源时，可选择的队列为当前空间下已分配的队列资源。 当前支持在选择MRS Yarn队列时，从已分配的队列资源获取队列列表。如果未分配队列资源，则只支持选择root
在作业开发页面，拖动1个Dummy节点、8个CDM Job节点、和2个Import GES节点到画布中，选中连线图标并拖动，编排图3所示的作业。 其中Dummy节点不执行任何操作，只作为起始点的标识。CDM Job节点用于调用在创建数据集成作业中创建的数据集成作业。Import GES节点用于将图数据导入GES。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
