检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
任意cdm权限,例如cdm:cluster:get DWS和MRS权限管控 表3 开发者用户的依赖服务最小权限合集 权限类型 角色与策略权限-系统角色 角色与策略权限-自定义策略 角色与策略权限-自定义策略 是否必配 必配 必配 必配 权限 DIS Operator DIS User (可选,不推荐)SWR Admin
限的工作空间用户、用户组和角色(包含空间权限集、权限集和角色)。 约束与限制 表-角色页签暂不支持展示存算分离MRS Hive的URL权限策略。 当前暂不支持在表权限视图页面直接对权限进行配置、回收。 查看表权限的拥有者 在DataArts Studio控制台首页,选择对应工作空
使用admin账户登录MRS服务的Manager页面。 在Manager页面选择“系统 > 权限 > 安全策略 > 密码策略”,单击“新增密码策略”,添加一个永不过期的密码策略。 “密码策略名”可配置为“neverexp”。 “密码有效期(天)”配置为“0”,表示永不过期。 “密码失效提前提醒天数”配置为“0”。
图10 子作业运行结果 多IF条件下当前节点的执行策略 如果当前节点的执行依赖多个IF条件的节点,执行的策略包含逻辑或和逻辑与两种。 当执行策略配置为逻辑或,则表示多个IF判断条件只要任意一个满足条件,则执行当前节点。 当执行策略配置为逻辑与,则表示多个IF判断条件需要所有条件满足时,才执行当前节点。
图10 子作业运行结果 多IF条件下当前节点的执行策略 如果当前节点的执行依赖多个IF条件的节点,执行的策略包含逻辑或和逻辑与两种。 当执行策略配置为逻辑或,则表示多个IF判断条件只要任意一个满足条件,则执行当前节点。 当执行策略配置为逻辑与,则表示多个IF判断条件需要所有条件满足时,才执行当前节点。
选择作业并行处理的数量,最大并发数为10。 事件检测间隔 配置事件检测时间间隔。时间间隔单位可以配置为秒或分钟。 失败策略 选择调度失败后的策略: 结束调度 忽略失败,继续调度 图4 DIS调度策略配置 父主题: 作业监控
实时处理集成作业处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线,每个节点配置独立的、节点级别的调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。 您可以在“作业监控 >
权限”,单击页面中的“创建自定义策略”。 图1 单击创建自定义策略 在弹出的创建自定义策略页面中,切换到JSON视图,填写MRS权限管理所需的IAM相关自定义策略后,单击“确定”完成IAM相关自定义策略创建。 创建自定义策略时,暂不支持同时选全局级云服务和项目级云服务,需要拆分为两条策略。因此本例先
长,请耐心等待。 图6 逻辑表预览 配置目的端参数。 源库表和目标匹配策略。 各同步场景下源端库表和目标端库表的匹配策略请参考下表。 表6 源库表和目标匹配策略 同步场景 配置方式 整库 Schema匹配策略。 与来源库同名:数据将同步至与来源PostgreSQL库名相同的DWS
说明 流控策略 创建连接 创建连接接口。 cdm_common 查询连接 查询连接接口。 cdm_common 删除连接 删除连接接口。 cdm_common 修改连接 修改连接接口。 cdm_common 参考:流控策略详情 表5 数据集成API流控策略 流控策略名称 策略类型 API流量限制(次/min)
动态数据脱敏接口 查询动态数据脱敏策略列表 创建数据脱敏策略 查询某个脱敏策略的详细信息 更新动态数据脱敏策略 批量删除动态脱敏策略 父主题: 数据安全API
自然周期调度作业依赖关系全景图 关于设置依赖作业的条件,以及设置依赖作业后的作业运行原理请参见周期调度依赖策略。 依赖的作业失败后,当前作业处理策略 当依赖的作业在当前作业周期内存在运行失败实例后,选择当前作业的处理策略: 等待执行 等待执行当前作业,等待执行的作业会阻塞后续作业的执行。您可以手动将依赖的作业强制成功,解决阻塞问题。
同步kafka partition策略 支持以下三种投递策略将源端的数据按规则同步到Kafka Topic的特定Partition: 全部投递到Partition 0。 按源端分区投递到对应的Partition:源端消息在第n个分区,则投递到目的端的第n个分区,该策略可以保证消息顺序。 按轮
单击资源目录中的,选择“导入资源”。 图8 选择导入资源 在弹出的导入资源窗口中,“文件位置”选择为“本地”,选择从旧空间导出的资源文件,“重名处理策略”默认选择“覆盖”,单击下一步。 图9 导入资源 资源开始导入,导入成功后系统会显示导入的资源名。 图10 导入资源成功 导入环境变量 单
查询动态数据脱敏策略列表 查询动态数据脱敏策略列表。 3600 40 创建数据脱敏策略 创建动态数据脱敏策略。 1800 20 查询某个脱敏策略的详细信息 查询某个脱敏策略的详细信息。 3600 40 更新动态数据脱敏策略 更新动态数据脱敏策略。 1800 20 批量删除动态脱敏策略 批量删除动态脱敏策略。
长,请耐心等待。 图6 逻辑表预览 配置目的端参数。 源库表和目标匹配策略。 各同步场景下源端库表和目标端库表的匹配策略请参考下表。 表6 源库表和目标匹配策略 同步场景 配置方式 整库 Schema匹配策略。 与来源库同名:数据将同步至与来源MySQL库名相同的DWS Schema中。
数据目录的核心是通过元数据采集任务,采集并展示企业在工作空间范围内的数据资产地图,包括元数据信息和数据血缘关系。 元数据管理 元数据管理模块是数据湖治理的基石,支持创建自定义策略的采集任务,可采集数据源中的技术元数据。支持自定义业务元模型,批量导入业务元数据,关联业务和技术元数据、全链路的血缘管理和应用。 数据地图
库与表均支持自定义选择,即可选择一库一表,也可选择多库多表。 配置目的端参数。 源库表和目标匹配策略。 各同步场景下源端库表和目标端库表的匹配策略请参考下表。 表6 源库表和目标匹配策略 同步场景 配置方式 整库 Schema匹配策略。 与来源库同名:数据将同步至与来源PostgreSQL库名相同的DWS
动态脱敏任务 管理动态脱敏策略 订阅动态脱敏策略 父主题: 敏感数据保护
源库表和目标匹配策略。 各同步场景下源端库表和目标端库表的匹配策略请参考表6。 表6 源库表和目标匹配策略 同步场景 配置方式 整库 库匹配策略。 与来源库同名:数据将同步至与来源MySQL库名相同的Hudi库中。 自定义:数据将同步至自行指定的Hudi库中。 表匹配策略。 与来源表