检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
信息”弹窗。 图1 空间信息 单击空间成员下的“添加”,在弹出的“添加成员”对话框中选择“按用户添加”或“按用户组添加”,然后从“成员账号”的下拉选项中选择用户或用户组,并设置角色。 图2 添加成员 单击“确定”即可添加成功。添加完成后,您可以在空间成员列表中查看或修改已有的成员
信息”弹窗。 图2 空间信息 单击空间成员下的“添加”,在弹出的“添加成员”对话框中选择“按用户添加”或“按用户组添加”,然后从“成员账号”的下拉选项中选择用户或用户组,并设置角色。 图3 添加成员 单击“确定”即可添加成功。添加完成后,您可以在空间成员列表中查看或修改已有的成员
”页签,单击“添加”按钮。 选择审核人(工作空间管理员、开发者、自定义角色审批),输入正确的电子邮箱和手机号,单击“确定”完成审核人添加。 您也可以添加自己当前账号为审核人,在后续提交审批的相关操作中,支持进行“自助审批”。根据需要,可以添加多个审核人。 图1 添加审核人 管理配置中心
IF条件判断教程 当您在数据开发模块进行作业开发编排时,想要实现通过设置条件,选择不同的执行路径,可使用IF条件判断。 本教程包含以下三个常见场景举例。 根据前一个节点的执行状态进行IF条件判断 根据前一个节点的输出结果进行IF条件判断 多IF条件下当前节点的执行策略 IF条件的
Topic的所有分库。 源表过滤条件:支持填入正则表达式,在过滤出的源端分库中再次过滤出要抽取数据写入目标端Kafka Topic的所有分表。 图5 添加逻辑表 已添加的逻辑表支持预览表结构及来源库表,单击“操作”列的预览即可。预览逻辑表时,源表数量越多,等待时间可能越长,请耐心等待。 图6 逻辑表预览
必填参数如表1所示。 表1 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名
使用教程 新建一个业务场景 新建一个质量作业 新建一个对账作业实例 父主题: 数据质量
的能力以应对极端情况。例如最常见的作业内存溢出,可以在实时集成作业的“任务配置”中添加自定义属性,根据实际情况调整JobManager和TaskManager的各类内存来适应同步场景。 图1 添加自定义属性 表1 作业任务参数一览表 参数名 参数类型 默认值 参数说明 jobmanager
创建Oracle连接 表1 Oracle连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 oracle_link 数据库服务器 数据库服务器域名或IP地址。 192.168.0.1 端口 Oracle数据库的端口。 3306 数据库连接类型 Oracle数据库连接类型。
必填参数如表1所示。 表1 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名
连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图5所示。 名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。 您可以通过如下方式获取访问密钥。 登录控制
S汇聚表的所有分库。 源表过滤条件:支持填入正则表达式,在过滤出的源端分库中再次过滤出要写入目标端DWS汇聚表的所有分表。 图5 添加逻辑表 已添加的逻辑表支持预览表结构及来源库表,单击“操作”列的预览即可。预览逻辑表时,源表数量越多,等待时间可能越长,请耐心等待。 图6 逻辑表预览
开发一个MRS Flink作业 本章节介绍如何在数据开发模块上进行MRS Flink作业开发。 场景说明 本教程通过开发一个MRS Flink作业来实现统计单词的个数。 前提条件 具有OBS相关路径的访问权限。 已开通MapReduce服务MRS,并创建MRS集群。 数据准备 下
下全部权限。 给用户添加数据库CONNECT, VIEW DATABASE STATE 权限。 USE YourDatabaseName; GRANT CONNECT, VIEW DATABASE STATE TO [YourUserName]; 给用户添加CDC schema的SELECT
使用教程 脚本及作业中引用参数使用介绍 作业调度支持每月最后一天 配置作业调度为年调度 补数据场景使用介绍 获取SQL节点的输出结果值 查询SQL获取max值传递给CDM作业 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 引用脚本模板和参数模板的使用介绍
特性,请联系客服或技术支持人员。 基础与网络连通配置 SSL加密 是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。 开关打开,即只能通过SSL方式进行通信。 开关关闭,SSL通道加密和证书认证两种方式均可进行通信。
S汇聚表的所有分库。 源表过滤条件:支持填入正则表达式,在过滤出的源端分库中再次过滤出要写入目标端DWS汇聚表的所有分表。 图5 添加逻辑表 已添加的逻辑表支持预览表结构及来源库表,单击“操作”列的预览即可。预览逻辑表时,源表数量越多,等待时间可能越长,请耐心等待。 图6 逻辑表预览
修改表属性、添加附加字段,并通过“自动建表”能力在目的端DWS数据库中建出相应的表。 图7 源表与目标表映射 附加字段编辑:单击操作列“附加字段编辑”可为迁移后的DWS表中增加自定义字段,同时附加字段也会额外加入到DWS表的建表中。用户可以在已有的源表字段基础上添加多个附加字段,
使用教程 数据架构示例 父主题: 数据架构
使用教程 概览 DRS任务切换到实时Migration作业配置 MySQL同步到MRS Hudi作业配置 MySQL同步到DWS作业配置 MySQL同步到Kafka作业配置 DMS Kafka同步到OBS作业配置 Apache Kafka同步到MRS Kafka作业配置 SQLServer同步到MRS