检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据仓库服务(DWS)连接参数说明 连接数据仓库服务(DWS)时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 数据仓库服务(DWS)连接参数 参数名 说明 取值样例 名称 连接的名称,根
来在进行描述时,表的字段注释不能重复。 数据架构使用MRS Spark连接,数据目录使用MRS Hive连接进行采集时,同一个集群下,如果创建了多个hive连接,则需要将这些hive连接都在数据目录进行采集,否则数据架构进行逆向时可能会找不到表。 数据质量 质量作业和对账作业执行
配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - 驱动版本 不同类型的关系数据库,需要适配不同的驱动。
是 String 项目编号,获取方法请参见项目ID和账号ID。 type 否 String 查询任务的类型,默认为all,查询所有任务。类型如下:Dummy、CDM Job、MRS Hive SQL、MRS Spark SQL、DLI SQL、DLI Spark、Python、DWS
示业务指标及其详情。 DataArts Studio中的技术元数据来源于元数据采集任务,您需要在创建并运行元数据采集任务后才能在数据地图中查看元数据。 父主题: 采集数据源的元数据
数据在数据库中的存放,例如:所选的数据仓库是DWS或MRS_Hive。 维度建模 维度建模是从分析决策的需求出发构建模型,它主要是为分析需求服务,因此它重点关注用户如何更快速地完成需求分析,同时具有较好的大规模复杂查询的响应性能。 多维模型是由数字型度量值组成的一张事实表连接到一
Integer 偏移量,表示从此偏移量开始查询,该值大于等于0。 diagnose_id 是 String 诊断任务id,通过调用查询数据权限控制模块诊断结果接口获取。 datasource_type 否 String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 user_name
请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型 说明 name 是 String
查询实时作业运行状态 功能介绍 查询指定实时作业的运行状态。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/jobs/{job_name}/status 参数说明 表1 URI参数说明 参数名
查看维度详情 功能介绍 通过ID查看维度详情信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/dimensions/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
数据安全简介(待下线) 在已上线数据安全组件的区域,数据目录中的数据安全功能已由数据安全组件提供,不再作为数据目录组件能力。当前数据目录中的数据安全功能仅限于存量用户使用。 数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。 应用背景
查看维度颗粒度 功能介绍 查询维度颗粒度,依据tableId查询涉及所有维度,不传tableId查询所有维度组颗粒度。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/dimension/groups 表1 路径参数 参数 是否必选
移动当前目录至新目录 功能介绍 移动当前目录至新目录。移动目录的的同时会移动其下的所有子目录与api。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/servicecatalogs/{catalog_id}/move 表1 路径参数
快速的关闭已打开的脚本页签。 在MRS API连接模式下,MRS Spark SQL和MRS Hive SQL脚本运行完以后,在执行结果中查看运行日志,增加一键跳转MRS Yarn查看日志的链接。 企业模式下,开发脚本时,鼠标放置在上,单击“前往发布”跳转到任务发布页面。 支持对
节点对象,通过对象和箭头的编排表示血缘信息。从血缘关系图中可以看到,wk_02表数据是由wk_01表数据经过hive_1作业节点加工而生成的,wk_02表数据经由hive_2作业节点加工又分别生成了wk_03、wk_04和wk_05的表数据。 图1 数据血缘关系示例 父主题: 数据目录
前提条件 作业在每个工作空间的最大配额为10000,作业目录最多5000个,目录层级最多为10层。请确保当前数量未达到最大配额。 新建普通目录 如果已存在可用的目录,则可以跳过当前操作。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。
对象类型有限支持,如果对象过大会出现无法迁移的问题。 仅支持数据库字符集为GBK和UTF-8。 字段名不可包含&和%。 jdbc2hive,hive2jdbc整库迁移的实现机制就是按字段名称映射的,不支持字段名称不一致的迁移场景。 关系数据库迁移权限配置 常见关系数据库迁移需要的最小权限级:
查看原子指标详情 功能介绍 通过ID获取原子指标详情信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/atomic-indexs/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
未通过,请您查看作业节点的运行日志,进行定位处理。 用户可以查看该作业的测试运行日志,单击“查看日志”可以进入查看日志界面查看日志的详细信息记录。 作业未提交版本之前,进行手动测试运行,作业监控里面的作业运行实例版本显示是0。 进行手动测试运行时,作业测试运行日志查看有权限管控,