检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对于选择的数据连接,则非授权对象的普通用户(即非DAYU Administrator、Tenant Administrator、数据安全管理员或预置的工作空间管理员角色的用户)将无权再查看并使用该连接。
跨空间进行作业调度 适用场景 当您已按照工作空间划分权限,不同空间用户只能操作本空间的作业。但是不同的工作空间之间的作业如果存在依赖关系,可参见本教程操作实现跨空间作业调度。
通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。
请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String DataArts Studio工作空间ID,获取方法请参见实例ID和工作空间ID。
配置增量元数据采集任务 配置、运行采集任务是构建数据资产的前提,下面举例说明如何通过配置采集任务达到灵活采集元数据的目的。 场景一:仅添加新元数据 用户的数据库中新增的数据表,采集任务仅采集新增的表。
导出的作业实例与作业节点存在对应关系。目前不支持通过勾选作业名称导出所勾选的数据,可以通过筛选条件选择需要导出的数据。 单击实例前方的,显示该实例所有节点的运行记录。 在节点的“操作”列,提供如表2所示的操作。 表2 操作(节点) 操作项 说明 查看日志 查看节点的日志信息。
workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Project-Id 否 String 项目ID,获取方法请参见项目ID和账号ID。 多project场景采用AK/SK认证的接口请求,则该字段必选。
workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Project-Id 否 String 项目ID,获取方法请参见项目ID和账号ID。 多project场景采用AK/SK认证的接口请求,则该字段必选。
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。
默认为SAVED,即查询的是最新提交的版本,当status为PUBLISHED时查询的是脚本的生产版本。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。
APP:APP类型应用为APP认证方式的API进行授权。您可以将不同的APP认证方式API授权给不同的应用,提升数据安全性。 描述 对应用的介绍。 单击“确定”,创建应用。 创建应用成功后,在“应用管理”页面的列表中显示新创建的应用和应用ID。
通过调用ManageOne平台的IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID ,获取方法请参见实例ID和工作空间ID。
Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。
实时处理作业:处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的业务关系,每个节点可单独被配置调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。
环境变量 环境变量中支持定义变量和常量,环境变量的作用范围为当前工作空间。 变量是指不同的空间下取值不同,需要重新配置值,比如“工作空间名称”变量,这个值在不同的空间下配置不一样,导出导入后需要重新进行配置。 常量是指在不同的空间下都是一样的,导入的时候,不需要重新配置值。
历史数据清洗,使用数据开发的MRS Hive SQL脚本将源数据表清洗之后导入DWI层的标准出行数据表。 将基础数据插入维度表中。 将DWI层的标准出行数据导入DWR层的事实表中。 数据汇总,通过Hive SQL将出租车行程订单事实表中的数据进行汇总统计并写入汇总表。
导入关系建模表 在数据架构主界面,单击左侧导航栏的“关系建模”,进入关系建模页面。 在页面的中间栏位的最上方,选择一个需要导入的物理模型。 单击列表上方的“导入”按钮,在弹出的导入窗口中,选择并上传需要导入的表文件。
通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。
请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。
workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Project-Id 否 String 项目ID,获取方法请参见项目ID和账号ID。 多project场景采用AK/SK认证的接口请求,则该字段必选。