检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从DLI导入表数据到GaussDB(DWS)集群 本实践演示使用GaussDB(DWS)外表功能从数据湖探索服务DLI导入数据到GaussDB(DWS)数据仓库的过程。 了解DLI请参见数据湖产品介绍。 本实践预计时长60分钟,实践用到的云服务包括虚拟私有云 VPC及子网、数据湖探索 DLI、对象存储服务 OBS和数据仓库服务
如何选择GaussDB(DWS)区域和可用分区 什么是区域、可用分区? 区域和可用分区用来描述数据中心的位置,您可以在特定的区域、可用分区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共
安装和启动GDS 安装和启动GDS 登录GaussDB(DWS)管理控制台。 在左侧导航栏中,单击“连接客户端”。 在 “gsql 命令行客户端”的下拉列表中,选择对应版本的GaussDB(DWS)客户端。 请根据集群版本和安装客户端的操作系统,选择对应版本。 客户端CPU架构要
"dws:*:list*", "vpc:vpcs:list", "vpc:ports:create", "vpc:ports:get", "vpc:ports:update", "vpc:subnets:get", "vpc:subnets:update", "vpc:subnets:create"
GaussDB(DWS)提供智能运维功能,帮助用户快速高效地执行运维任务。智能运维会根据集群负载情况,选择合理时间窗、并发度完成用户指定的任务。在运维任务执行过程中,智能运维会时刻关注用户业务的变化,及时调整运维任务执行策略,以减轻对用户业务的影响。智能运维支持周期型和单次型任务的创建,执行时间窗可按照不同用户业务负载定制化。
业务应用与DWS在同一个区域内不同VPC下 为保证业务低时延,建议将业务应用和DWS都部署在同一个区域内。例如业务应用部署在ECS,建议将DWS集群部署在跟ECS在同一个虚拟私有云(以下简称VPC)下,如果DWS集群选择了不同的VPC,则ECS与DWS无法直接连通。 例如ECS和DWS都部署在“北
在目标端DWS需要创建待同步的数据库和schema。 ADB的库层级对应的是DWS的schema层级。 迁移前准备 已经购买了GaussDB(DWS)和CDM集群,参见CDM使用指南。 需确保源ADB集群、目标GaussDB(DWS)集群与CDM网络互通。本例GaussDB(DWS)和CDM创建在同一个区域、同一个网络私有云和子网下。
注意事项 两个集群必须在同一个Region、一个AZ内且VPC网络互通。 创建的外表与其对应的远端表的列名和类型名要完全一致,且远端表的类型为行存表、列存表、哈希表或者复制表。 如果关联的表在另外一个集群是复制表或者存在数据倾斜,性能可能会很差。 使用期间,两个集群的状态应为“Normal”。
本教程通过建立HDFS外表实现GaussDB(DWS)远端访问或读取MRS数据源。 视频介绍 准备环境 已创建DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 基本流程 本实践预计时长:1小时,基本流程如下: 创建MRS分析集群(选择Hive、Spark、Tez组件)。
已经购买了GaussDB(DWS)和CDM集群,参见CDM使用指南。 需确保源Hologres集群、目标GaussDB(DWS)集群与CDM网络互通。本例GaussDB(DWS)和CDM创建在同一个区域、同一个网络私有云和子网下。 迁移用户权限放通。 源端和目标端客户端安装完成。 已准
若当前业务中需要创建一个私有用户和私有表(即私有用户创建的表),私有表只有私有用户本身可以访问,系统管理员dbadmin和其他普通用户均无权访问(进行INSERT、DELETE、UPDATE、SELECT、COPY操作),但同时需要满足:未经私有用户授权的情况下,可允许系统管
0形态8.2.1.300及以上集群版本。 LakeFormation基于VPC终端节点服务对接,因此创建LakeFormation数据源时也会获取当前DWS集群VPC下的终端节点,如果不存在则需要重新创建,VPC终端节点会产生额外费用。 前提条件 有可用的LakeFormation
S底层的OS安全环境。 数据库与外部网络隔离 GaussDB(DWS)在单独的虚拟私有云VPC网络中,各VPC之间相互隔离。数据库作为一个组件,按照防火墙安全区域的划分是属于内部用户接口网络区域内,即受信类区域,不涉及其他区域的划分。客户端和对外服务节点CN之间的通信(命令行工具、GUI
GaussDB(DWS)默认选择与集群同VPC的ELB。若用户勾选“跨VPC绑定弹性负载均衡”则切换为跨VPC列表,即可绑定与集群VPC不同的ELB。绑定跨VPC的ELB时需打通集群VPC与ELB所属VPC网络,详情请参见集群跨VPC绑定ELB前提条件。 绑定命令下发成功后,返
mys_order; 步骤二:创建GaussDB(DWS)集群 创建集群,同时为确保网络连通,GaussDB(DWS)集群的区域、VPC选择与RDS实例保持一致,本实践为“华北-北京四”,虚拟私有云与上面创建RDS的虚拟私有云保持一致。 在GaussDB(DWS)控制台的“专属集群 > 集群列表
限。 拥有VPC Administrator权限的GaussDB(DWS)用户可以创建VPC或子网。 拥有云监控Administrator权限的GaussDB(DWS)用户,可以查看GaussDB(DWS)集群的监控指标信息。 系统角色 依赖Tenant Guest和Server
数据库导出到外部,存放在HDFS文件系统上,从而提高整体导出性能。 准备环境 已创建DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服务”,单击“购买集群”,
确保MRS跟DWS网络互联互通,主要分以下几种场景: 场景一:MRS与DWS在同一个区域、同一个VPC下,默认网络互通。 场景二:MRS与DWS在同一个区域,不同VPC下,需要建立VPC对等连接,参见对接连接简介。 场景三:MRS与DWS不在一个区域,需要通过“云连接(CC)”打通网络,请参见对应服务的用户指南。
配置DWS数据源连接 参见创建CDM集群先完成CDM集群创建并绑定弹性IP。 确保CDM集群与DWS集群在同一个区域、虚拟私有云下,以保证网络互通。 在CDM管理控制台的“集群管理”页面,单击集群操作列的“作业管理”,选择“连接管理 > 新建连接”。 连接器类型选择“数据仓库服务(DWS)”,单击“下一步”。
启停和删除GaussDB(DWS)集群 重启集群 当集群处于非均衡或不能正常工作时,可能需要通过重启集群进行恢复。当您修改完配置,例如修改集群安全设置、参数修改相关配置,未立即重启集群的情况下,您也可以通过手动重启集群使配置生效。 若集群欠费,可能会导致该功能被限制不可用,请及时充值确保集群可正常使用。