-
如何将云下内网或第三方云上的私网与CDM连通? - 数据治理中心 DataArts Studio
数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 在本地数据中心和云服务VPC之间建立VPN通道。 通过NAT(网络地址转换,Network Address Translation)或端口转发,以代理的方式访问。 这里重点介绍如何通过端口转发工具来实现访问内部数据,流程如下:
-
通过代理方式创建数据连接,一个空间可以创建多个连接吗? - 数据治理中心 DataArts Studio
通过代理方式创建数据连接,一个空间可以创建多个连接吗? 同一个工作空间可以创建多个不同类型或相同类型的连接,但是连接的名字不能相同。 父主题: 管理中心
-
ROMA FDI Job - 数据治理中心 DataArts Studio
设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 超时重试 最大重试次数
-
并行处理算子 - 数据治理中心 DataArts Studio
分支失败继续执行:表示当并行分支中存在失败情况时,继续执行其他分支和后续算子。当所有分支均失败导致后续算子无法执行时,则此API工作流置为失败状态。 分支1 超时时间(ms) 表示当前分支执行超过配置的超时时间后,则将此分支置为失败状态。默认为0无时间限制。 分支2 超时时间(ms) 表示当
-
执行RDS SQL,报错hll不存在,在DataArts Studio可以执行成功? - 数据治理中心 DataArts Studio
执行RDS SQL,报错hll不存在,在DataArts Studio可以执行成功? 这个hll插件默认创建在public schema,SQL需要带上hll所属的schema。 父主题: 数据开发
-
执行脚本 - 数据治理中心 DataArts Studio
Python和Impala SQL脚本。脚本每执行一次,生成一个脚本实例。执行脚本接口是一个异步命令,需要通过查询脚本实例执行结果获取执行状态和结果。 DLI SQL和Presto SQL不支持多语句场景。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST
-
为什么会提示每日执行节点个数超过上限,应该怎么处理? - 数据治理中心 DataArts Studio
为什么会提示每日执行节点个数超过上限,应该怎么处理? 每日执行节点个数即DataArts Studio不同实例版本中的作业节点调度次数/天配额,各版本配额差异可参见如何选择DataArts Studio版本。 原因分析 当每日作业节点调度的已使用次数+运行中次数+本日将运行次数之和达到
-
Hive SQL和Spark SQL脚本执行失败,界面只显示执行失败,没有显示具体的错误原因? - 数据治理中心 DataArts Studio
Studio通过API把脚本提交给MRS,然后查询是否执行完成;而MRS不会将具体的错误原因反馈到DataArts Studio,因此导致数据开发脚本执行界面只能显示执行成功还是失败。 “通过代理连接”模式下DataArts Studio提交脚本并运行,查看脚本是否执行完成,同时在数据开发脚本执行界面,日志中会显示具体错误信息和脚本执行的结果。
-
立即执行作业 - 数据治理中心 DataArts Studio
立即执行作业 功能介绍 本接口用于立即执行作业,验证作业是否能执行成功。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/{job_name}/run-immediate 参数说明 表1
-
DLI Flink Job - 数据治理中心 DataArts Studio
说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明:
-
为什么执行完HIVE任务什么结果都不显示? - 数据治理中心 DataArts Studio
为什么执行完HIVE任务什么结果都不显示? 解决方案:清理缓存数据,采用直连方式,数据就可以显示出来了。 父主题: 数据开发
-
查询作业执行历史 - 数据治理中心 DataArts Studio
查询作业执行历史 功能介绍 查询作业执行历史接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/submissions 表1 路径参数 参数 是否必选 参数类型 描述 project_id
-
停止脚本实例的执行 - 数据治理中心 DataArts Studio
停止脚本实例的执行 功能介绍 该接口用以停止脚本实例的执行。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/scripts/{script_name}/instances/{instance_id}/stop
-
查询脚本实例执行结果 - 数据治理中心 DataArts Studio
rowCount 否 Long 结果行数。 inputRowCount 否 Long 输入结果的行数。(dli等脚本执行会执行此结果) resultCount 否 Long 结果行数。(dli等脚本执行会执行此结果) duration 否 Float 脚本实例的执行时长,单位是秒。 rawResult
-
管理单个作业 - 数据治理中心 DataArts Studio
cceeded,stopped。 其中“Pending”表示正在等待系统调度该作业,“Booting”表示正在分析待迁移的数据。 查看历史记录 查看作业的历史执行记录、读取和写入的统计数据,在历史记录界面还可查看作业执行的日志信息。 查看作业日志 在历史记录界面可查看作业所有的日志。
-
执行Python脚本报错:Agent need to be updated? - 数据治理中心 DataArts Studio
执行Python脚本报错:Agent need to be updated? 创建的主机连接需要使用2.8.6版本及以上的CDM集群。 父主题: 数据开发
-
执行DLI脚本,报Invalid authentication怎么办? - 数据治理中心 DataArts Studio
执行DLI脚本,报Invalid authentication怎么办? 请确认当前用户在IAM中是否具有DLI Service User或者DLI Service Admin权限。 父主题: 数据开发
-
执行DWS SQL脚本时,提示id不存在,如何处理? - 数据治理中心 DataArts Studio
执行DWS SQL脚本时,提示id不存在,如何处理? 在执行DWS SQL脚本时,提示id不存在,原因是由于id的大小写引起的。 DWS执行SQL时,系统默认是小写,如果是大写字段需要加""。 举例:select * from table1 order by "ID"; select
-
获取任务执行结果列表 - 数据治理中心 DataArts Studio
获取任务执行结果列表 功能介绍 获取任务执行结果列表 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/instances 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 只能获取所属project的任务执行结果列表
-
数据开发的并行执行节点数是多少? - 数据治理中心 DataArts Studio
数据开发的并行执行节点数是多少? DataArts Studio的并行执行节点数与作业节点调度次数/天配额有关,对应关系如下表所示。 其中的作业节点调度次数/天配额可通过DataArts Studio实例卡片上的“更多 > 配额使用量”入口查看,其中的“作业节点调度次数/天”总量即为当前实例配额。