检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置DataArts Studio企业模式环境隔离 管理中心的环境隔离,当前支持配置DLI和DB配置的开发、生产环境隔离。 配置环境隔离后,数据开发时脚本/作业中的开发环境数据连接通过发布流程后,将自动切换对应生产环境的数据连接。 前提条件 创建DLI环境隔离前,应已创建DLI的数据连接。
移动当前目录至新目录 功能介绍 移动当前目录至新目录。移动目录的的同时会移动其下的所有子目录与api。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/servicecatalogs/{catalog_id}/move 表1 路径参数
当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。
查询实时作业运行状态 功能介绍 查询指定实时作业的运行状态。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/jobs/{job_name}/status 参数说明 表1 URI参数说明 参数名
请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型 说明 name 是 String
快速的关闭已打开的脚本页签。 在MRS API连接模式下,MRS Spark SQL和MRS Hive SQL脚本运行完以后,在执行结果中查看运行日志,增加一键跳转MRS Yarn查看日志的链接。 企业模式下,开发脚本时,鼠标放置在上,单击“前往发布”跳转到任务发布页面。 支持对
选择管理员。当前权限集管理员支持最多选2个,且管理员类型必须同为用户或者用户组。 管理员为当前权限集的负责人,具有配置当前权限集内权限的能力。管理员职能范围: 权限配置:为权限集分配数据源权限。 用户配置:将当前集合内权限分配给用户、用户组或工作空间角色。 创建权限集:基于当前权限集新
打不开作业日志,返回404报错? 可能原因 作业日志打不开,可能权限不足。 解决方案 作业日志在OBS桶中存储,您需要先在工作空间中配置作业日志的桶目录,然后确认当前账户是否具有OBS读权限(可以通过检查IAM中OBS权限、OBS桶策略来确认)。 OBS路径仅支持OBS桶,不支持并行文件系统。 修改工作空间的用户账号,需要满足如下任一条件:
未通过,请您查看作业节点的运行日志,进行定位处理。 用户可以查看该作业的测试运行日志,单击“查看日志”可以进入查看日志界面查看日志的详细信息记录。 作业未提交版本之前,进行手动测试运行,作业监控里面的作业运行实例版本显示是0。 进行手动测试运行时,作业测试运行日志查看有权限管控,
Integer 偏移量,表示从此偏移量开始查询,该值大于等于0。 diagnose_id 是 String 诊断任务id,通过调用查询数据权限控制模块诊断结果接口获取。 datasource_type 否 String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 user_name
查看维度表详情 功能介绍 通过ID查看维度表的详情信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/dimension-logic-tables/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
对象类型有限支持,如果对象过大会出现无法迁移的问题。 仅支持数据库字符集为GBK和UTF-8。 字段名不可包含&和%。 jdbc2hive,hive2jdbc整库迁移的实现机制就是按字段名称映射的,不支持字段名称不一致的迁移场景。 关系数据库迁移权限配置 常见关系数据库迁移需要的最小权限级:
数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - SSL加密 可选参数,支持通过SSL加密方式连接数据库,暂不支持自建的数据库。 否 引用符号 可选参数,连接引
前提条件 作业在每个工作空间的最大配额为10000,作业目录最多5000个,目录层级最多为10层。请确保当前数量未达到最大配额。 新建普通目录 如果已存在可用的目录,则可以跳过当前操作。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。
节点对象,通过对象和箭头的编排表示血缘信息。从血缘关系图中可以看到,wk_02表数据是由wk_01表数据经过hive_1作业节点加工而生成的,wk_02表数据经由hive_2作业节点加工又分别生成了wk_03、wk_04和wk_05的表数据。 图1 数据血缘关系示例 父主题: 数据目录
查看事实表详情 功能介绍 通过ID查看事实表的详情信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/fact-logic-tables/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
具有权限的HDFS路径,并支持查看对该路径有哪些操作权限。如果想查询某路径下的权限,则可以使用搜索功能进行查看,注意当前仅支持精确匹配。 图11 查看目录权限 日志:在角色详情页面,单击“日志”进入日志页签。 在日志页签,当权限同步失败后,您可以查看到日志详情。系统每天0点定时删除30天前的日志。
String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 cluster_id String 集群id。请于集群管理页面查看集群ID信息。当数据源类型为DLI时,该参数需要填写为DLI。 cluster_name String 集群名称。请于集群管理页面查看集群名称信息。当数
在CDM监控页面,可查看所有监控指标的小图。 图1 查看监控指标 单击小图右上角的,可进入大图模式查看。 您可以在左上角选择时长作为监控周期,查看一段时间的指标变化情况。 父主题: 管理并查看CDM监控指标