检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
确保CDM集群与DWS集群在同一个区域、虚拟私有云下,以保证网络互通。 在CDM管理控制台的“集群管理”页面,单击集群操作列的“作业管理”,选择“连接管理 > 新建连接”。 连接器类型选择“数据仓库服务(DWS)”,单击“下一步”。
关于创建VPC的详细信息可以参考《虚拟私有云用户指南》中的创建虚拟私有云和子网章节。 操作步骤 登录管理控制台。 选择“网络 > 虚拟私有云”。 在“虚拟私有云”界面,单击“创建虚拟私有云”,创建虚拟私有云。 获取VPC及子网id,后续创建集群时需要使用。
为确保ECS与GaussDB(DWS)网络互通,GaussDB(DWS)数据仓库需要与ECS在同一个区域,同一个虚拟私有云和子网下。
本实践预计时长90分钟,实践用到的云服务包括虚拟私有云 VPC及子网、弹性公网EIP、云数据迁移 CDM和数据仓库服务 GaussDB(DWS),基本流程如下: 迁移前准备 步骤一:元数据迁移 步骤二:表数据迁移 步骤三:数据一致性校验 图1 AnalyticDB for MySQL
原因:虚拟私有云异常,错误码${FailureReason}! 请联系客服或稍后重试。 说明: ${FailureReason}实际显示为虚拟私有云具体的错误码。 虚拟私有云错误码的详细信息,请参见《虚拟私有云API参考》中的错误码章节。
步骤五:准备DWS对接Flink工具dws-connector-flink dws-connector-flink是一款基于DWS JDBC接口实现对接Flink的一个工具。在配置DLI作业阶段,将该工具及依赖放入Flink类加载目录,提升Flink作业入库DWS的能力。
表3 硬件配置 参数项 取值 计费模式 按需计费 可用区 可用区2 虚拟私有云 vpc-01 子网 subnet-01 安全组 自动创建 弹性公网IP 10.x.x.x 企业项目 default Master节点 2 分析Core节点 3 分析Task节点 0 填写高级配置参数如下表
本实践预计时长90分钟,实践用到的云服务包括虚拟私有云 VPC及子网、弹性公网EIP、云数据迁移 CDM和数据仓库服务 GaussDB(DWS),基本流程如下: 迁移前准备 步骤一:元数据迁移 步骤二:表数据迁移 步骤三:表数据校验 图1 迁移Hologres场景图 约束与限制 如果待迁移的表数量较多
已创建虚拟私有云和子网,参见创建虚拟私有云和子网。 已获取华为账号的AK和SK,参见访问密钥。 步骤一:准备DLI源端数据 创建DLI弹性资源池及队列。 登录华为云控制台,服务列表选择“大数据 > 数据湖探索DLI”,进入DLI管理控制台。
4 虚拟机层 DWS集群所在的虚拟机 云硬盘、网络、CPU、内存等。 表2 集群高可用高可靠风险和建议 集群配置 推荐措施 缺失配置的风险 配置负载均衡 使用ELB负载均衡方式接入业务。参见为GaussDB(DWS)集群绑定和解绑弹性负载均衡。
创建集群时,请按要求配置以下参数,其他配置无特别要求,具体操作请参见《MapReduce服务用户指南》中的“自定义创建集群”章节: MRS集群的虚拟私有云需要和GaussDB(DWS)集群相同。
已创建虚拟私有云和子网,参见创建虚拟私有云和子网。 步骤一:准备MySQL数据 购买RDS实例,参见表1配置关键参数,其他参数可保持默认,如需了解详情请参见RDS文档。
vpc_id 否 String 指定虚拟私有云ID,用于集群网络配置。默认值与原集群相同。 availability_zone 否 String 指定集群可用区。默认值与原集群相同。
vpc_id 是 String 集群虚拟私有云ID。 subnet_id 是 String 集群子网ID。 public_ip 否 OpenPublicIp object 弹性IP对象。 cross_spec_restore 否 String 跨规格恢复。
场景二:MRS与DWS在同一个区域,不同VPC下,需要建立VPC对等连接,参见对接连接简介。 场景三:MRS与DWS不在一个区域,需要通过“云连接(CC)”打通网络,请参见对应服务的用户指南。
例如业务应用部署在ECS,建议将DWS集群部署在跟ECS在同一个虚拟私有云(以下简称VPC)下,如果DWS集群选择了不同的VPC,则ECS与DWS无法直接连通。
如果是在公有云环境无法连接,还需要检查以下可能导致异常的原因: 弹性云服务器是否与集群在相同可用分区、虚拟私有云、子网和安全组。 安全组的出入规则是否正确。 如果是在互联网环境无法连接,还需要检查以下可能导致异常的原因: 用户网络是否与互联网可以正常连通。
执行以下语句,指定车牌号码和时间段查询车辆行驶路线。GaussDB(DWS)在应对点查时秒级响应。
视图与基本表不同,是一个虚拟的表。数据库中仅存放视图的定义,而不存放视图对应的数据,这些数据仍存放在原来的基本表中。若基本表中的数据发生变化,从视图中查询出的数据也随之改变。从这个意义上讲,视图就像一个窗口,透过它可以看到数据库中用户感兴趣的数据及变化。 注意事项 无。
视图与基本表不同,是一个虚拟的表。数据库中仅存放视图的定义,而不存放视图对应的数据,这些数据仍存放在原来的基本表中。若基本表中的数据发生变化,从视图中查询出的数据也随之改变。从这个意义上讲,视图就像一个窗口,透过它可以看到数据库中用户感兴趣的数据及变化。