检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
回收用户权限,用户也可以主动交还不再需要的权限。 权限审批管理:提供可视化、流程化的管理授权机制,以及对审批流程进行事后追溯。 父主题: 配置数据访问权限
在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“模板配置”。 配置脚本模板信息。 单击“新建”进入脚本模板配置界面。 输入“模板名称”。 在界面上输入SQL语句,并引入脚本参数。 配置脚本模板参数。参数名称不可修改,参数值可以进行修改。 图1 配置脚本模板 单击“保存”。
配置任务组 通过配置任务组,可以更细粒度的进行当前任务组中的作业节点的并发数控制。 约束限制 该功能不支持实时处理作业,只支持批处理作业。 任务组不能跨工作空间去使用。 对于Pipeline作业,每个节点都可以配置一个任务组,也可以在作业里面统一配置任务组,如果配置了作业级任务组,则优先级高于节点的任务组。
敏算法页面。 单击“新建”,新建脱敏算法。 图1 新建脱敏算法 新建脱敏算法参数配置请参考表2,参数配置完成单击“确定”即可。 图2 算法配置 脱敏算法参数说明表: 表2 配置脱敏算法参数说明 配置 说明 *算法名称 用户自定义算法名称,长度不能超过64个字符。 描述 对当前算法
方面因素考虑,定义数据安全的关键数据为权限集(包含空间权限集、权限集以及通用角色)和动态脱敏策略。 前提条件 回收站中的数据依赖于权限集(包含空间权限集、权限集以及通用角色)和动态脱敏策略在30天内的删除操作。 约束与限制 仅DAYU Administrator、Tenant A
授予的表权限。支持筛选不同的数据源类型,并通过角色、集群名称、数据库或表名检索。 通过空间权限集、权限集或角色授权的流程详见配置空间权限集、配置权限集或配置角色。 图3 表-角色 “表-用户组”页签:默认展示当前实例下,通过授权对象为用户组的权限申请和审批流程所获取的表权限。支持
对Hudi建表设置分区字段,多个值以逗号隔开。 - Hudi表压缩策略(是否开启写入压缩) 在线进行压缩,仅对MOR表生效。 是 Hudi表清除策略(保留提交数) 清除时保留的提交数。 1 Hudi表归档策略(最小保留提交数) 归档时保留的最小提交数。 1 Hudi表归档策略(最大保留提交数) 归档时保留的最大提交数。
配置调度日历 作业调度支持按照日历配置自定义工作日期进行周期调度。 调度日历配置完成后,在作业开发界面,在“调度配置”页签,选择周期调度,选择调度日历,即可按照调度日历所定义的工作日期进行调度。如果作业不在日历范围内是空跑,在日历范围内是正常执行。 使用调度日历功能后,在作业正常
场景下有如下限制:约束冲突处理策略不支持"replace into"或"on duplicate key update"。 1 stream load 配置参数 stream load 配置参数。 max_filter_ratio=0 父主题: 配置作业目的端参数
权限创建表/写入数据/删除表:read权限 配置权限后,在权限视角下支持您对所配置的权限进行编辑、同步或删除等操作。 图7 权限视角权限配置 用户配置:在权限集详情页面,单击“用户配置”进入用户配置页签。 用户配置的含义即为将权限配置中定义的数据权限,与此处的用户绑定起来。您可以
事件处理并发数 选择作业并行处理的数量,最大并发数为10。 事件检测间隔 配置事件检测时间间隔。时间间隔单位可以配置为秒或分钟。 失败策略 选择调度失败后的策略: 结束调度 忽略失败,继续调度 图4 DIS调度策略配置 父主题: 作业监控
清除全部数据:写入数据前会清除目标表中数据。 清除部分数据:需要配置“where条件”参数,CDM根据条件选择性删除目标表的数据。 清除部分数据 where条件 “导入开始前”参数选择为“清除部分数据”时配置,配置后导入前根据where条件删除目的表的数据。 age > 18 and
同步场景 配置方式 整库 选择需要迁移的Oracle库表。 图4 选择库表 库与表均支持自定义选择,即可选择一库一表,也可选择多库多表。 配置目的端参数。 源库表和目标匹配策略。 各同步场景下源端库表和目标端库表的匹配策略请参考下表。 表6 源库表和目标匹配策略 同步场景 配置方式 整库
01e7e。 单击画布上的并行处理算子打开配置面板,可以配置失败策略及分支超时时间(此处无需特殊配置,报错默认即可)。当并行处理分支被执行时,SupplierInformation和SalesRating两个分支会被同时调度。 图9 配置并行处理算子 拖拽“输出处理”算子到画布,
输入或选择写入数据的目标表名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度C
的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“OBS桶”。 配置OBS桶的信息。 图1 配置OBS桶 单击“保存”,完成配置。 父主题: 配置
多,等待时间可能越长,请耐心等待。 图6 逻辑表预览 配置目的端参数。 源库表和目标匹配策略。 各同步场景下源端库表和目标端库表的匹配策略请参考下表。 表6 源库表和目标匹配策略 同步场景 配置方式 整库 Schema匹配策略。 与来源库同名:数据将同步至与来源MySQL库名相同的DWS
子作业参数名称 是/否 当节点属性中子作业参数配置为空时,子作业使用自身参数变量执行。父作业的“子作业参数名称”不显现。 当节点属性中子作业参数配置了数据时,子作业将使用配置参数变量执行。此时父作业的“子作业参数名称”显现,并且节点属性中子作业参数配置的数据或者EL表达式,将根据父作业的环境变量读取替换。
一致时,需配置路由规则及安全组规则以打通网络。配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 当CDM集群与其他云服务所在的区域一致、但VPC不一致时,可以通过对等连接打通网络。配置对等连接请参见如何配置对等连接章节。 注:如果配置了VPC对
写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移