检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS资源队列 否 选择已创建好的MRS资源队列。 说明: 您需要先在数据安全服务队列权限功能中,配置对应的队列后,才能在此处选择到已配置的队列。当有多处同时配置了资源队列时,此处配置的资源队列为最高优先级。 Spark作业名称 是 MRS作业名称,只能由英文字母、数字、中划线和下划线组成,长度不能超过64个字符。
系统支持按照责任人配置终端订阅信息(短信、邮件、电话),配置好订阅信息后,通过通知管理功能配置作业通知任务,当作业运行异常或成功时向已配置的责任人发送通知。 前提条件 已开通消息通知服务并配置主题。按照责任人配置订阅信息前,请确保已在工作空间配置了作业告警通知主题。 配置通知 参考访问DataArts
Studio实例卡片上的“更多 > 配额使用量”入口查看,其中的“作业节点调度次数/天”总量即为当前实例配额。 表1 DataArts Studio实例并行节点数上限 DataArts Studio实例作业节点调度次数/天配额 DataArts Studio实例并行节点数上限 <=500
周期调度作业支持设置调度周期符合条件的作业为依赖作业。设置依赖作业的操作详情请参考配置作业调度任务(批处理作业)章节。 例如周期调度作业A,可设置其依赖作业为作业B,如图1所示进行配置。则仅当其依赖的作业B在某段时间内所有实例运行完成、且不存在失败实例时,才开始执行作业A。 依赖的作业B的“某段时间”,计算
单击“环境变量”,在“环境变量配置”页面,配置如表1所示的变量或常量,单击“保存”。 变量和常量的区别是其他工作空间或者项目导入的时候,是否需要重新配置值。 变量是指不同的空间下取值不同,需要重新配置值,比如“工作空间名称”变量,这个值在不同的空间下配置不一样,导出导入后需要重新进行配置。 常量是指
作业实例取消了,日志提示“The node start execute failed, so the current node status is set to cancel.”怎么处理? 问题描述 作业实例取消了,日志提示“The node start execute failed
在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“模板配置”。 配置脚本模板信息。 单击“新建”进入脚本模板配置界面。 输入“模板名称”。 在界面上输入SQL语句,并引入脚本参数。 配置脚本模板参数。参数名称不可修改,参数值可以进行修改。 图1 配置脚本模板 单击“保存”。
的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“OBS桶”。 配置OBS桶的信息。 图1 配置OBS桶 单击“保存”,完成配置。 父主题: 配置
配置脱敏策略 本节介绍如何创建数据脱敏策略,然后在数据目录中进行脱敏查询。 前提条件 数据分类规则已创建,数据分类规则的创建请参见新建数据分类。 数据连接,数据表已创建成功,敏感数据已被数据目录采集。 创建脱敏策略 在DataArts Studio控制台首页,选择实例,单击“进入
“Hudi全局配置”作用于所有Hudi表,可配置的Hudi配置项参考Hudi官网介绍。 “Hudi全局配置”优先级低于单表“表属性编辑”中的配置,存在相同配置项时会被覆盖。 源表与目标表映射: 图3 配置源表与目标表映射 Hudi表必须设置“同步主键”,在源端为非主键表时,必须在字段映射阶段手动勾选主键。
题。 终端协议 是 配置该参数前,请确保工作空间默认项设置中已配置作业告警通知主题。 通知方式选择“按责任人”时才需配置。 短信 邮件 电话 单击“校验联系方式”,系统会自动校验作业责任人信息是否已配置。如果作业责任人信息未配置,请前往终端订阅管理界面进行配置。 单击“查看订阅信
该参数表示抽取指定值的partition,属性名称为分区名称,属性值可以配置多个值(空格分隔),也可以配置为字段取值范围,接受时间宏函数。详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,
技术资产”页面,可以对数据开发的作业、节点、表进行查询。 在“类型”筛选区域,单击“搜索全部”按钮并在全部类型中勾选“Job”、“Node”和“Table”,然后单击“确定”。数据开发中的作业对应于Job类型,节点对应于Node类型,表对应于Table类型。 数据开发中的作业信息不属于任何一个数据连
周(7天)内用户的运行记录。 前提条件 运行历史功能依赖于OBS桶,若要使用该功能,必须先配置OBS桶。请参考配置OBS桶进行配置。 脚本运行历史 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控
型,单击进入,然后单击列表上方的“新建”按钮新建一个表。 图1 入口 在“新建表”页面,根据页面提示完成建表的配置。 填写基本配置参数。 图2 表基本配置 表1 基本配置 参数名称 说明 *所属主题 单击“选择主题”选择所属的主题信息。 *表名称 表的名称。 只允许除\、<、>、%、"、'、;及换行符以外的字符。
入门实践 当您参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列操作后,可以根据自身的业务需求使用DataArts Studio提供的一系列常用实践。 表1 常用最佳实践
据源类型,并通过角色、集群名称、数据库或表名检索。 通过空间权限集、权限集或角色授权的流程详见配置空间权限集、配置权限集或配置角色。 图3 表-角色 “表-用户组”页签:默认展示当前实例下,通过授权对象为用户组的权限申请和审批流程所获取的表权限。支持筛选不同的数据源类型,并通过用户组、集群名称、数据库或表名检索。
再单击“新建作业”。 图6 新建作业 按照如下步骤完成作业参数的配置。 如图7所示,配置作业名为movies_obs2dws,配置源端作业参数,然后配置目的端作业参数。 在本示例中,目的端作业参数“导入开始前”配置为“清除全部数据”,表示每次作业运行都会先清空数据再导入。在实际业
API连接时支持为Spark SQL作业独立配置需要的资源(例如线程、内存、CPU核数并指定MRS资源队列等)。代理连接时不支持配置。 您需要先在数据安全组件中配置对应的队列(参考配置队列权限,)后,才能在此处选择到已配置的队列。当有多处同时配置了资源队列时,此处配置的资源队列为最高优先级。 数据库
未实名认证的用户,无法进行任何的创建操作。 x 专享版规格 数据服务专享版的实例规格,如表4所示。 表4 专享版实例规格说明 实例规格 最大支持发布的API数量 延时(单位:ms) 小规格 500 <20 中规格 1000 <15 大规格 2000 <10 API返回数据规格 数据服务适用于小批量数据的快