检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理资源 用户可以通过资源管理功能,上传自定义代码或文本文件作为资源,在节点运行时调用。可调用资源的节点包含DLI Spark、MRS Spark、MRS MapReduce和DLI Flink Job。 创建资源后,配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更,
致,您可以通过切换agent代理来临时规避此问题。 解决方案 建议您通过以下措施解决此问题: 检查CDM集群是否被关机。 是,将CDM集群开机后,确认管理中心的数据连接恢复正常。 否,跳转至步骤2。 检查该CDM集群是否同时被用于数据迁移作业和管理中心连接代理。 是,您可以错开数
当已发布的API需要编辑、调试时,必须将API从相关环境中停用后才允许操作。停用API会保留原有的授权信息,在停用期间您可以对API进行编辑、调试等操作。 停用后您可以通过恢复API,使该API继续对外提供服务。 停用API将导致此API在指定的时间无法被访问,请确保已经告知使用此API的用户。
已发布的API因为其他原因需要停止对外提供服务,可以将API从相关环境中下线,相关操作请参见下线API。 下线后的API如果要继续使用,需要重新进行发布操作,但需注意下线API不会保留原有的授权信息。 下线后的API如果确认不再提供服务,可以将API删除,相关操作请参见删除API。 下
Jar包自定义参数 对于开发的自定义Jar包,可以在此处对参数进行输入替换 input 否 String 输入路径 MRS Spark作业输入数据路径,可以为HDFS或者是OBS路径。 output 否 String 输出路径 MRS Spark作业输出数据路径,可以为HDFS或者是OBS路径。 programParameter
当拥有多个工作空间时,您可以按使用者、维护者或用途等各类维度为各工作空间添加标签,然后在工作空间列表页面,可以通过标签搜索、识别不同类型的工作空间。 标签由标签键和标签值组成。在添加标签时,标签键和标签值可以选择在标签管理服务(简称TMS)中创建的预定义标签,也可以直接输入自定义的标签
逆向数据库(维度建模) 通过逆向数据库,您可以将其他数据源的数据库中的表导入到指定的模型中。 前提条件 在逆向数据库之前,请先在DataArts Studio数据目录模块中对数据库进行元数据采集,以便同步数据目录时可以同步成功,否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作,请参见配置元数据采集任务。
实时集成资源组关联工作空间 进行实时数据集成任务配置前,您需要将数据集成资源组与将要使用的DataArts Studio工作空间进行关联,以确保在配置实时集成作业时可以选到指定的计算资源组。 前提条件 已购买资源组,详情请参见购买数据集成资源组。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts
角色的权限说明请参见权限列表章节。 如果预置角色可以满足您的使用需求,则您可以跳过本章节;否则,请您按照本章节描述创建自定义角色。 背景信息 DAYU Administrator或Tenant Administrator账号可以在工作空间中创建自定义角色。 如何创建并通过自定义
通过Data Quality Monitor节点可以对运行的数据进行质量监控。 参数 用户可参考表1和表2配置Data Quality Monitor节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、
角色的权限说明请参见权限列表章节。 如果预置角色可以满足您的使用需求,则您可以跳过本章节;否则,请您按照本章节描述创建自定义角色。 背景信息 DAYU Administrator或Tenant Administrator账号可以在工作空间中创建自定义角色。 如何创建并通过自定义
左侧导航栏,包括数据质量规则的存储目录。 用户可以根据实际需要对规则进行分目录存放,每级目录旁边的数字代表属于该级目录的规则实例的个数。 2 规则实例列表 展示实例名称、类型、运行状态、运行结果等信息。 3 管理区域 可以对所选实例进行导出、删除、停止运行的操作。 4 搜索区域 可以选择性的展示规则实例,
Studio数据开发模块支持以事件触发的方式运行作业,因此通过DIS或者MRS Kafka作为作业依赖纽带,可以跨空间实现作业调度。 如下图,工作空间A中的job1运行完成后,可以使用DIS Client或Kafka Client发送消息触发中继作业job_agent;job_agent配置事件触发调度,根据DIS
弹出API工作流删除窗口。 已发布的API工作流因为其他原因需要停止对外提供服务,可以从相关环境中下线,但需注意下线API工作流不会保留原有的授权信息。下线后的API工作流如果确认不再提供服务,可以进行删除,请注意删除操作无法撤销。下线/删除流程与API下线/删除流程基本一致,可参考下线/删除API。
(可选)新建数据库模式 DWS数据连接创建完成后,可以在右侧区域中管理DWS数据连接的数据库模式。 如果已有的数据库模式满足您的使用需求,则您可以跳过本章节;否则,请您按照本章节描述新建数据库模式。 前提条件 已新建DWS数据连接,请参见新建数据连接。 已新建DWS数据库,请参见新建数据库。
移动脚本/脚本目录 您可以通过移动功能把脚本文件从当前目录移动到另一个目录,也可以把当前脚本目录移动到另一个目录中。 前提条件 已完成脚本开发,请参见开发脚本。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
单击“批作业监控”页签,进入批作业的监控页面。 通过条件筛选,查询CDM作业的调度执行信息。 通过筛选“CDM作业”可以查询CDM作业的调度执行信息。 通过筛选“节点类型 > CDMJob”可以查询CDMJob节点算子的调度执行信息。 图1 批作业监控 父主题: 数据开发
为什么执行完HIVE任务什么结果都不显示? 可能原因 执行完HIVE任务结果不显示,可能是由于连接方式引起的。 解决方案 清理缓存数据,采用直连方式,数据就可以显示出来了。 父主题: 数据开发
DataArts Studio是否支持版本降级? 已创建的DataArts Studio实例,不支持直接降级版本。 您可以通过创建新版本实例、迁移实例数据、退订旧版本实例的方式,间接降级版本。 父主题: 咨询与计费
表达式转换 使用JSP表达式语言(Expression Language)对当前字段或整行数据进行转换。JSP表达式语言可以用来创建算术和逻辑表达式。在表达式内可以使用整型数,浮点数,字符串,常量true、false和null。 数据进行转换过程中,替换内容包含特殊字符时,需要先使用\将该字符转义成普通字符。