-
执行DWS SQL脚本时,提示id不存在,如何处理? - 数据治理中心 DataArts Studio
执行DWS SQL脚本时,提示id不存在,如何处理? 在执行DWS SQL脚本时,提示id不存在,原因是由于id的大小写引起的。 DWS执行SQL时,系统默认是小写,如果是大写字段需要加""。 举例:select * from table1 order by "ID"; select
-
数据开发的并行执行节点数是多少? - 数据治理中心 DataArts Studio
数据开发的并行执行节点数是多少? DataArts Studio的并行执行节点数与作业节点调度次数/天配额有关,对应关系如下表所示。 其中的作业节点调度次数/天配额可通过DataArts Studio实例卡片上的“更多 > 配额使用量”入口查看,其中的“作业节点调度次数/天”总量即为当前实例配额。
-
随机集群创建作业并执行 - 数据治理中心 DataArts Studio
execute_create_date 否 Long 最近一次执行任务创建时间,单位:毫秒。由系统生成,用户无需填写。 status 否 String 作业最后的执行状态: BOOTING:启动中。 RUNNING:运行中。 SUCCEEDED:成功。 FAILED:失败。 NEW:未被执行。 表5 ConfigValues
-
Shell/Python节点执行失败,后台报错session is down - 数据治理中心 DataArts Studio
Shell/Python节点执行失败,后台报错session is down 本指导以Shell算子为例。 问题背景与现象 Shell节点运行失败了,实际上Shell脚本运行成功了。 原因分析 获取Shell节点的运行日志。 [2021/11/17 02:00:36 GMT+0800]
-
审批单处理 - 数据治理中心 DataArts Studio
审批单处理 功能介绍 审批驳回/通过,单个或多个action-id=reject/resolve。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/approvals/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id
-
使用python调用执行脚本的api报错:The request parameter invalid,如何处理? - 数据治理中心 DataArts Studio
使用python调用执行脚本的api报错:The request parameter invalid,如何处理? 问题现象: 使用python调用执行脚本的api报错:The request parameter invalid。 调用执行脚本接口。 查看日志: 报错:Content
-
提交调度后的作业执行失败,报depend job [XXX] is not running or pause怎么办? - 数据治理中心 DataArts Studio
提交调度后的作业执行失败,报depend job [XXX] is not running or pause怎么办? 问题描述 提交调度后的作业执行失败,报depend job [XXX] is not running or pause。 原因分析 该问题是由于上游依赖作业不在运行状态而造成。
-
创建作业 - 数据治理中心 DataArts Studio
String 节点类型: HiveSQL: 执行Hive SQL脚本 SparkSQL: 执行Spark SQL脚本 DWSSQL:执行DWS SQL脚本 DLISQL:执行DLI SQL脚本 Shell :执行Shell SQL脚本 CDMJob:执行CDM作业 DISTransferTask:创建DIS转储任务
-
配置互斥 - 数据治理中心 DataArts Studio
配置互斥 通过配置互斥组,可以避免多个作业去并发的运行。配置好互斥组以后,本次设置将在作业的下一个调度周期生效。 互斥组配置完成后,在同一个互斥组内的作业,只能有一个作业是运行中,其他作业生成实例后则处于等待运行中。当运行中的作业运行完(包括执行成功、执行失败、取消)或者停止调度后(不
-
作业任务参数说明 - 数据治理中心 DataArts Studio
月的15号执行该定时任务。并且该参数支持输入多个,以英文的逗号“,”分隔开。 例如上述场景中“runAt”输入“1,2,3,4,5”,就表示每个月的1日、2日、3日、4日和5日执行该定时任务。 周期类型为“week”时,“runAt”输入“mon,tue,wed,thu,fri”,就表示周一到周五执行该定时任务。
-
获取集群列表为空/没有权限访问/操作时报当前策略不允许执行? - 数据治理中心 DataArts Studio
获取集群列表为空/没有权限访问/操作时报当前策略不允许执行? 问题描述 在使用CDM时,可能遇到如下权限相关的问题: 跳转到CDM首页,获取到的集群列表为空。 提示没有权限访问,如图1所示。 执行启动作业/重启集群等操作时,报错当前策略不允许执行,如图2所示。 图1 没有权限访问 图2 不允许创建连接
-
在ECS上调试好的shell脚本,在DLF中shell脚本执行异常,如何处理? - 数据治理中心 DataArts Studio
在ECS上调试好的shell脚本,在DLF中shell脚本执行异常,如何处理? 问题现象:在ECS上调试好的shell脚本,在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果: DLF脚本运行结果: 处理方法: 添加如下两条命令: export
-
迁移作业原理 - 数据治理中心 DataArts Studio
大带宽为36/40 Gbps。 通过公网互通时,网络带宽受到公网带宽的限制。CDM侧公网带宽规格受限于CDM集群所绑定的弹性公网IP,数据源侧受限于其所访问的公网带宽规格。 通过VPN、NAT或专线互通时,网络带宽受到VPN、NAT或专线带宽的限制。 目的端写入性能 取决于目的端数据源的性能。
-
条件分支算子 - 数据治理中心 DataArts Studio
条件分支算子通过获取上游算子的请求参数或结果集进行条件判断,根据定义的表达式来确定下一步执行的分支。注意,多个分支满足条件时仅执行第一个满足条件的分支。 表1 条件分支算子 参数 说明 分支1 条件类型 选择条件类型。 满足当前条件时:表示传入“条件分支”的数据满足指定的表达式时,将执行该分支。 不满足其他
-
执行Python脚本,报错UnicodeEncodeError :‘ascii' codec cant encode characters in position 63-64 : ordinal not in range ( 128 ) - 数据治理中心 DataArts Studio
执行Python脚本,报错UnicodeEncodeError :‘ascii' codec cant encode characters in position 63-64 : ordinal not in range ( 128 ) 在DataArts Studio的python脚本中,设置参数json
-
DataArts Studio执行调度时,报错提示“作业中节点XXX关联的脚本没有提交的版本”怎么办? - 数据治理中心 DataArts Studio
DataArts Studio执行调度时,报错提示“作业中节点XXX关联的脚本没有提交的版本”怎么办? 问题描述 DataArts Studio执行调度时报错:作业中节点XXX关联的脚本没有提交的版本。 原因分析 该作业内的脚本还没有提交版本,就开始执行调度,导致执行调度报错。作业调度前必须保证作业内脚本都存在一个版本。
-
导入作业 - 数据治理中心 DataArts Studio
导入作业 功能介绍 将存放在OBS桶的作业文件导入到DLF,一次可以导入一个或多个作业。 执行本接口之前,需要将作业文件放到OBS的桶中。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/import
-
配置默认项 - 数据治理中心 DataArts Studio
策略支持如下三种,系统默认配置为“取消执行”。 等待执行:当被依赖的作业执行失败后,当前作业会等待执行。 继续执行:当被依赖的作业执行失败后,当前作业会继续执行。 取消执行:当被依赖的作业执行失败后,当前作业会取消执行。 单击“保存”,对设置的配置项进行保存。该配置仅对新建作业有效。 配置多IF策略
-
新建作业 - 数据治理中心 DataArts Studio
批处理作业:按调度计划定期处理批量数据,主要用于实时性要求低的场景。批作业是由一个或多个节点组成的流水线,以流水线作为一个整体被调度。被调度触发后,任务执行一段时间必须结束,即任务不能无限时间持续运行。 批处理作业可以配置作业级别的调度任务,即以作业为一整体进行调度,具体请参见配置作业调度任务(批处理作业)。 实
-
导入连接(待下线) - 数据治理中心 DataArts Studio
连接管理能力由管理中心统一提供,相关接口已经不维护了,推荐使用管理中心API。 功能介绍 将存放在OBS桶的连接文件导入到数据开发模块中,一次可以导入一个或多个连接。执行本接口之前,需要将连接文件放到OBS的桶中。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式