检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DGC作业监控 作业运行时间监控 节点运行时间监控 作业运行时长的影响因素包含计算资源的影响和处理数据的影响,因此,当作业运行时间波动很大时,表明计算资源或者表数据有问题。例如,临时表没有清理,表数据发散等等,到最后都会造成重大问题。本功能模块可以在这些bug产生较小的影响情况下发现并及时修改。
DGC作业监控 作业运行时间监控 节点运行时间监控 作业运行时长的影响因素包含计算资源的影响和处理数据的影响,因此,当作业运行时间波动很大时,表明计算资源或者表数据有问题。例如,临时表没有清理,表数据发散等等,到最后都会造成重大问题。本功能模块可以在这些bug产生较小的影响情况下发现并及时修改。
本实践需要将源端系统数据采集至云上MRS Hudi,因此需要准备好目标端的MRS实例、Hudi的连接信息。其中,dwi_store_mgmt是DWI层的数据库,用于存储经过整合处理后的数据。 数据探源服务器 Linux操作系统服务器: 4vCPUs | 8GiB | Si2.xlarge.2 为了批量自动
S图标需文字体现部署的是什么数据库,并体现集群或主备关系。 主备 √ 数据备份 √ √ 华为云数据库开启自动备份策略,自建时需体现数据备份存储位置。 应用高可用 集群 单可用区 √ 1、使用CCE集群或自建ECS集群(部署相同应用的ECS两台以上)。 2、使用到中间件(如 Red
S图标需文字体现部署的是什么数据库,并体现集群或主备关系。 主备 √ 数据备份 √ √ 华为云数据库开启自动备份策略,自建时需体现数据备份存储位置。 应用高可用 集群 单可用区 √ 1、使用CCE集群或自建ECS集群(部署相同应用的ECS两台以上)。 2、使用到中间件(如 Red
本实践需要将源端系统数据采集至云上MRS Hudi,因此需要准备好目标端的MRS实例、Hudi的连接信息。其中,dwi_store_mgmt是DWI层的数据库,用于存储经过整合处理后的数据。 数据探源服务器 Linux操作系统服务器: 4vCPUs | 8GiB | Si2.xlarge.2 为了批量自动
选择登录方式 分为“密码登录”和“密钥登录”。 选择加密密钥 为了保护主机登录密码或密钥安全,请您必须使用加密密钥,以避免登录密码或密钥明文存储和泄露风险。 您可以选择已有的加密密钥,如果没有可选的加密密钥,请单击“创建密钥”,创建VSS专用的默认主密钥。 用户名 默认为root。
新建DWI层的物理模型 图24 从SDI层导入表 图25 DWI层物理模型表 SDI为贴源层数据,与源端系统数据结构一致;DWI为数据整合层,存储经过数据整合、清洗后的数据。本实践为目标端系统MRS Hudi进行DWI层建模的目的是在ETL映射中需要使用,即,将SDI层的某个表映射至DWI层。
选择登录方式 分为“密码登录”和“密钥登录”。 选择加密密钥 为了保护主机登录密码或密钥安全,请您必须使用加密密钥,以避免登录密码或密钥明文存储和泄露风险。 您可以选择已有的加密密钥,如果没有可选的加密密钥,请单击“创建密钥”,创建VSS专用的默认主密钥。 用户名 跳板机的登录用户名,默认为root。
选择登录方式 分为“密码登录”和“密钥登录”。 选择加密密钥 为了保护主机登录密码或密钥安全,请您必须使用加密密钥,以避免登录密码或密钥明文存储和泄露风险。 您可以选择已有的加密密钥,如果没有可选的加密密钥,请单击“创建密钥”,创建VSS专用的默认主密钥。 用户名 跳板机的登录用户名,默认为root。