检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
无需选择,自动匹配数据连接中的数据源集群。 *数据库 选择敏感数据所在的数据库。 *数据表 选择敏感数据所在的数据表。 *数据列 您需要勾选一个或多个待脱敏列,并根据不同数据列的数据类型,选择合适的脱敏规则。各类数据源中不同数据类型支持的脱敏规则不同,详见参考:动态脱敏规则介绍。 另外,如果选中的库表列
的操作。 选择目录 选择作业所属的目录,默认为根目录。 单击“确定”,创建作业。 配置作业基本信息 为作业配置责任人、优先级信息后,用户可根据责任人、优先级来检索相应的作业。操作方法如下: 单击画布右侧“作业基本信息”页签,展开配置页面,配置如表2所示的参数。 表2 作业基本信息
服务。 一个作业支持配置多个消息主题,当作业运行成功或失败,可同时向多个订阅了消息主题的终端发送通知。 编辑通知 通知新建完成后,用户可以根据需求修改通知的参数。 在数据开发主界面的左侧导航栏,选择“运维调度 > 通知管理”。 选择“通知管理”页签。 在通知的“操作”列,单击“编
应的要求。在使用前,您应先检查并准备相关配置。 同步IAM用户到数据源 将IAM上的用户信息同步到数据源,以实现不同用户访问数据源时,能够根据其自身用户信息管控用户访问数据的权限。 配置空间权限集 空间权限集作为DataArts Studio工作空间内的最大权限集合,主要用于确定整个工作空间用户可访问的权限范围。
时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 *.csv 时间过滤 选择“是”时,可以根据文件的修改时间,选择性的传输文件。 是 起始时间 “过滤类型”选择“时间过滤器”时,可以指定一个时间值,当文件的修改时间大于等于该时间才会
时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 *.csv 时间过滤 选择“是”时,可以根据文件的修改时间,选择性的传输文件。 是 起始时间 “过滤类型”选择“时间过滤器”时,可以指定一个时间值,当文件的修改时间大于等于该时间才会
粒度认证,为多租户模式时不支持。多租户模式切换多主实例模式请参考配置多主实例与多租户模式切换章节。 联通性测试成功后,在细粒度认证状态列,根据所需选择启用开发态或调度态的细粒度认证,然后单击下方的“提交”,即可开启细粒度认证。 图2 开启细粒度认证 参考:为MRS数据连接用户配置代理权限
作业状态轮询时间(秒) 是 设置轮询时间(30~60秒、120秒、180秒、240秒、300秒),每隔x秒查询一次作业是否执行完成。 作业运行过程中,根据设置的作业状态轮询时间查询作业运行状态。 最长等待时间 是 设置作业执行的超时时间,如果作业配置了重试,在超时时间内未执行完成,该作业将会再次重试。
作业状态轮询时间(秒) 是 设置轮询时间(30~60秒、120秒、180秒、240秒、300秒),每隔x秒查询一次作业是否执行完成。 作业运行过程中,根据设置的作业状态轮询时间查询作业运行状态。 最长等待时间 是 设置作业执行的超时时间,如果作业配置了重试,在超时时间内未执行完成,该作业将会再次重试。
时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 *.csv 时间过滤 选择“是”时,可以根据文件的修改时间,选择性的传输文件。 是 起始时间 “时间过滤”选择“是”时,可以指定一个时间值,当文件的修改时间大于等于该时间才会被传输,
换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 *.csv,*.txt 时间过滤 选择“是”时,可以根据文件的修改时间,选择性的传输文件。 是 起始时间 “过滤类型”选择“时间过滤器”时,可以指定一个时间值,当文件的修改时间大于该时间才会被传
接。 obslink 脏数据目录 设置脏数据的写入目录。 obs://default/ 脏数据阈值 是否写入脏数据为是时显示该参数。 用户根据实际设置脏数据阈值。 脏数据阈值会针对每个并发生效。比如阈值为100,并发为3,则该作业可容忍的脏数据条数为300。 输入-1表示不限制脏数据条数。
8点的实例;作业A在8点的实例,依赖作业B在 16点的实例。 规则二:自然天内,上下游任务数量不一致,下游任务运行当天生成的周期实例,将会根据就近原则挂载依赖,依赖距离自己定时运行时间最近的上游实例。 先向前找上游依赖实例,依赖上游一整个区间内的实例;向前未找到依赖的实例时,需要
uniqueidentifier 16字节的GUID(Globally Unique Identifier,全球唯一标识符),是Sql Server根据网络适配器地址和主机CPU时钟产生的唯一号码,其中,每个为都是0~9或a~f范围内的十六进制数字。 不支持 不支持 不支持 cursor 游标数据类型。
当为工作空间分配队列资源后,在数据开发组件在为作业节点配置队列资源时,可选择的队列为当前空间下已分配的队列资源。 当前支持在选择MRS Yarn队列时,从已分配的队列资源获取队列列表。如果未分配队列资源,则只支持选择root.default队列。 当为用户组/用户配置队列权限后,MRS队列权限管控由MRS Ra
权,从而使用API、SDK等方式访问DataArts Studio。 凭证类型:勾选访问密钥和密码,推荐为用户自定义初始密码。 登录保护:根据需求选择,一般无需开启。 图14 配置用户信息 选择将用户加入到DQC用户组,单击页面右下角的创建用户。 图15 创建用户按钮 创建完成可返回用户列表查看。
S碎片,需要用户到OBS控制台清理碎片文件避免空间占用。 不支持对象多版本的迁移。 增量迁移时,单个作业的源端目录下的文件数量或对象数量,根据CDM集群规格分别有如下限制:大规格集群30万、中规格集群20万、小规格集群10万。 如果单目录下文件或对象数量超过限制,需要按照子目录来拆分成多个迁移作业。
Y Y 编辑成员管理 Y Y Y N 新建权限集成员 Y Y Y N 删除权限集成员 Y Y Y N 查询权限集成员 Y Y Y Y 查询获取委托 Y Y Y Y 新建脱敏策略 Y Y N N 删除脱敏策略 Y Y N N 操作脱敏策略 Y Y Y Y 查询脱敏策略 Y Y Y Y