检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是,您可以错开数据迁移作业和管理中心连接代理的使用时间,或再创建CDM集群,与原有CDM集群分开使用。 否,跳转至步骤3。 直接重启该CDM集群,释放连接池资源。确认管理中心的数据连接恢复正常。 父主题: 管理中心
批量授权API(专享版) 功能介绍 APP创建成功后,还不能访问API,如果想要访问某个API,需要将该API授权给APP。API主动授权成功后,在有效期内,APP即可访问该API。API授权包含授权和续约两部分功能。 授权:授权会给予APP在有效期内访问API的权利。
创建资源后,配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更,只需要修改资源引用的位置即可,不需要修改作业配置。关于资源的使用样例请参见开发一个DLI Spark作业。 约束限制 该功能依赖于OBS服务或MRS HDFS服务。
作业名称添加工作空间前缀 否 设置是否为创建的作业名称添加工作空间前缀。 脚本路径 是 选择需要执行的Flink SQL脚本。如果脚本未创建,请参考新建脚本和开发SQL脚本创建和开发Flink SQL脚本。
前提条件 已创建API。 API已发布到该环境。 停用API 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。
前提条件 已创建API。 通过“设置可见”功能修改API可见范围 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。
如果希望在快速模式下权限配置时能够展示数据连接中数据库、表以及字段等元数据提示信息,则需要在数据目录组件,对数据表成功进行过元数据采集,详见元数据采集任务。 约束与限制 当前仅支持为MRS和DWS集群创建角色。
API 08:40 创建并调用数据服务API 数据目录 DataArts Studio 数据血缘自动生成 04:44 数据血缘自动生成
create_by 否 String 创建者。 l1 否 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 否 String 主题域中文名,只读,创建和更新时无需填写。 l3 否 String 业务对象中文名,只读,创建和更新时无需填写。
支持单击右键,可快速复制脚本名称,同时可以快速的关闭已打开的脚本页签。 在MRS API连接模式下,MRS Spark SQL和MRS Hive SQL脚本运行完以后,在执行结果中查看运行日志,增加一键跳转MRS Yarn查看日志的链接。
仅DAYU Administrator、Tenant Administrator或者数据安全管理员可以创建、修改或删除数据密级、分类和识别规则,其他普通用户无权限操作。 当前支持在不同的父节点下创建同名的分类,但同一父节点下不能创建同名的分类。
创建一个数据开发模块空作业。 进入到作业开发页面,拖动“MRS Spark Python”节点到画布中并单击,配置节点的属性。
已创建数据连接,且创建的连接必须已勾选数据集成选项,详情请参见创建DataArts Studio数据连接 。 数据集成资源组与数据源网络已打通,详情请参见网络打通。 操作步骤 参见新建实时集成作业创建一个实时处理集成作业。 配置数据连接类型。
管理脱敏算法 为了方便对数据进行脱敏,在创建脱敏策略前,需要您准备好脱敏算法。当前系统已内置20+脱敏算法,如果内置算法可以满足您的需求,您需要提前配置对应算法参数;否则,您可以新建脱敏算法。 本章主要介绍内置脱敏算法,和如何新建脱敏算法。
前提条件 已创建作业,详情请参见新建作业。 当前用户已锁定该作业,否则需要通过“抢锁”锁定作业后才能继续开发作业。新建或导入作业后默认被当前用户锁定,详情参见编辑锁定功能。 编排作业节点 编排作业节点适用于Pipeline模式的批处理作业和实时处理作业。
表1 实例监控操作 操作项 说明 根据“作业名称”、“创建人”或“责任人”搜索作业 如果勾选了“作业名称”前的“精确搜索”,可支持作业名称的精确匹配搜索。 如果未勾选“作业名称”前的“精确搜索”,可支持作业名称的模糊匹配搜索。
单击“选择模板”,选择已创建好的脚本模板,系统支持可以引用多个模板。创建模板的详细操作请参见配置模板。 MRS Flink作业的运行程序参数,请参见《MapReduce用户指南》中的运行Flink作业。 Flink作业执行参数 否 配置Flink作业执行参数。
自动建表:单击“自动建表”可按照已配置映射规则在目的端数据库自动建表,成功后表建立方式会显示为使用已有表。 图11 自动建表 Migration仅支持自动建表,不支持自动建库和模式,需用户自行在目的端手动建出库和模式后再使用本功能建表。
自动建表:单击“自动建表”可按照已配置映射规则在目的端数据库自动建表,成功后表建立方式会显示为使用已有表。 图13 自动建表 Migration仅支持自动建表,不支持自动建库和模式,需用户自行在目的端手动建出库和模式后再使用本功能建表。
自动建表:单击“自动建表”可按照已配置映射规则在目的端数据库自动建表,成功后表建立方式会显示为使用已有表。 图10 自动建表 Migration仅支持自动建表,不支持自动建库和模式,需用户自行在目的端手动建出库和模式后再使用本功能建表。