-
获取SQL节点的输出结果值 - 数据治理中心 DataArts Studio
获取SQL节点的输出结果值 当您在数据开发模块进行作业开发,需要获取SQL节点的输出结果值,并将结果应用于后续作业节点或判断时,可参考本教程获取SQL节点的输出结果。 场景说明 使用EL表达式#{Job.getNodeOutput("前一节点名")}获取的前一节点的输出结果时,输出结果为二维数组形式
-
SDK调用常见错误码/错误信息 - 数据治理中心 DataArts Studio
停用/下线对应API,然后恢复/发布。 尝试重启集群(逐个节点重启可避免业务影响)。 DLM.4094 Call api failed. 调用API失败 确认调用所执行的SQL正确,可以正常使用(所执行SQL详见访问日志,仅API方可见)。 CDM中代理异常,错误原因详见返回的DLG错误信息。
-
Shell/Python节点执行失败,后台报错session is down - 数据治理中心 DataArts Studio
Shell/Python节点执行失败,后台报错session is down 本指导以Shell算子为例。 问题背景与现象 Shell节点运行失败了,实际上Shell脚本运行成功了。 原因分析 获取Shell节点的运行日志。 [2021/11/17 02:00:36 GMT+0800]
-
数据开发节点运行中报TOKEN不合法? - 数据治理中心 DataArts Studio
数据开发节点运行中报TOKEN不合法? 请确认当前用户在IAM的权限管理中权限是否有变更、是否退出用户组,或者用户所在的用户组权限策略是否有变更? 如果有变更,请重新登录即可解决。 父主题: 数据开发
-
节点状态为成功,为什么日志显示运行失败? - 数据治理中心 DataArts Studio
节点状态为成功,为什么日志显示运行失败? 强制成功操作会更新作业实例(和节点)状态为成功。 父主题: 数据开发
-
开发一个Hive SQL作业 - 数据治理中心 DataArts Studio
SQL提供运行环境。 MRS集群创建时,组件要包含Hive。 已开通数据集成CDM,并创建CDM集群,为数据开发模块提供数据开发模块与MRS通信的代理。 CDM集群创建时,需要注意:虚拟私有云、子网、安全组与MRS集群保持一致,确保网络互通。 建立Hive的数据连接 开发Hive SQL前,我们需要在“管理中心
-
数据开发的并行执行节点数是多少? - 数据治理中心 DataArts Studio
在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“节点并发数”。 配置工作空间的节点并发数,工作空间的节点并发数不能大于DataArts Studio实例的并行节点并发数上限。 DataArts Studio实例的节点并发数上限可通过表2获取。其中的作业节点调度次数/天配额可通过DataArts
-
获取Rest Client节点返回值教程 - 数据治理中心 DataArts Studio
获取Rest Client节点返回值教程 Rest Client节点可以执行华为云内的RESTful请求。 本教程主要介绍如何获取Rest Client的返回值,包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值 通过EL表达式获取返回值 通过“响应消息体解析为传递参数定义”获取返回值
-
获取Rest Client节点返回值教程 - 数据治理中心 DataArts Studio
获取Rest Client节点返回值教程 Rest Client节点可以执行华为云内的RESTful请求。 本教程主要介绍如何获取Rest Client的返回值,包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值 通过EL表达式获取返回值 通过“响应消息体解析为传递参数定义”获取返回值
-
实时作业监控 - 数据治理中心 DataArts Studio
话框进行配置。 7 查看作业的节点信息 单击作业名称,进入“作业监控”详情页面后,单击某个节点,查看该节点的相关关联作业/脚本与监控信息。 说明: 当作业中某个节点配置有事件驱动调度时,在单击此节点时会弹出子作业监控页面。 8 “禁用”和“恢复”节点 单击作业名称,进入“作业监控
-
配置DWS数据连接 - 数据治理中心 DataArts Studio
Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建DWS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先进行创建。 CDM集群作为网络代理,必须和DWS集群网络互通才可以成功创建DWS连接,为确保两者网络互通,CDM集
-
如果HANA集群只有部分节点和CDM集群网络互通,应该如何配置连接? - 数据治理中心 DataArts Studio
如果HANA集群只有部分节点和CDM集群网络互通,应该如何配置连接? 如果HANA集群只有部分节点和CDM网络互通,为确保CDM正常连接HANA集群,则需要进行如下配置: 关闭HANA集群的Statement Routing开关。但须注意,关闭Statement Routing,会增加配置节点的压力。
-
数据开发 - 数据治理中心 DataArts Studio
因? 数据开发节点运行中报TOKEN不合法? 作业开发时,测试运行后如何查看运行日志? 月周期的作业依赖天周期的作业,为什么天周期作业还未跑完,月周期的作业已经开始运行? 执行DLI脚本,报Invalid authentication怎么办? 创建数据连接时,在代理模式下为什么选不到需要的CDM集群?
-
文件格式介绍 - 数据治理中心 DataArts Studio
1000001, "max_score" : 1.0 }] 记录节点 记录数据的根节点。该节点对应的数据为JSON数组,CDM会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 从JSON文件复制数据 示例一 从行分隔/串连的多个对象中提取
-
源端为对象存储 - 数据治理中心 DataArts Studio
jsonReferenceNode 否 String 记录节点,当文件格式为“JSON_FILE”时此参数有效。对该JSON节点下的数据进行解析,如果该节点对应的数据为JSON数组,那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割,例如:“data.list”。
-
DataArts Studio执行调度时,报错提示“作业中节点XXX关联的脚本没有提交的版本”怎么办? - 数据治理中心 DataArts Studio
DataArts Studio执行调度时,报错提示“作业中节点XXX关联的脚本没有提交的版本”怎么办? 问题描述 DataArts Studio执行调度时报错:作业中节点XXX关联的脚本没有提交的版本。 原因分析 该作业内的脚本还没有提交版本,就开始执行调度,导致执行调度报错。作
-
如何选择版本 - 数据治理中心 DataArts Studio
连接的Agent代理使用,不建议同时作为Agent代理和运行数据迁移作业使用。用于运行数据迁移作业的其他规格数据集成集群推荐通过“批量数据迁移增量包”进行购买(免费版需通过“云数据迁移 CDM”服务购买CDM集群),如何购买请参考购买功能增量包。 [2] 作业节点调度次数/天:该
-
配置MRS Kafka数据连接 - 数据治理中心 DataArts Studio
Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建MRS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先进行创建。 CDM集群作为网络代理,必须和MRS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集
-
配置MRS Clickhouse数据连接 - 数据治理中心 DataArts Studio
Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建MRS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先进行创建。 CDM集群作为网络代理,必须和MRS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集
-
配置MRS HBase数据连接 - 数据治理中心 DataArts Studio
Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建MRS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先进行创建。 CDM集群作为网络代理,必须和MRS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集