检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本教程通过建立HDFS外表实现GaussDB(DWS)远端访问或读取MRS数据源。 视频介绍 准备环境 已创建DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 基本流程 本实践预计时长:1小时,基本流程如下: 创建MRS分析集群(选择Hive、Spark、Tez组件)。
Table的方式,实现在多个集群之间的关联查询和用来导入数据。 使用场景 将数据从一个GaussDB(DWS)集群导入到另外一个GaussDB(DWS)集群中。 多个集群之间的关联查询。 注意事项 两个集群必须在同一个Region、一个AZ内且VPC网络互通。 创建的外表与其对应的远端表的列名和类型名要完全一致
在目标端DWS需要创建待同步的数据库和schema。 ADB的库层级对应的是DWS的schema层级。 迁移前准备 已经购买了GaussDB(DWS)和CDM集群,参见CDM使用指南。 需确保源ADB集群、目标GaussDB(DWS)集群与CDM网络互通。本例GaussDB(DWS)和CDM创建在同一个区域、同一个网络私有云和子网下。
已经购买了GaussDB(DWS)和CDM集群,参见CDM使用指南。 需确保源Hologres集群、目标GaussDB(DWS)集群与CDM网络互通。本例GaussDB(DWS)和CDM创建在同一个区域、同一个网络私有云和子网下。 迁移用户权限放通。 源端和目标端客户端安装完成。 已准
accepting TCP/IP connections. 问题分析:客户端与服务端网络不通、端口错误或待连接CN异常。 处理方法: 客户端ping服务端IP,查看网络是否畅通,网络不通则需解决网络问题。 检查URL中连接CN的端口是否正确,若端口不正确则需修改为正确的端口(默认为8000)。
GaussDB(DWS)默认选择与集群同VPC的ELB。若用户勾选“跨VPC绑定弹性负载均衡”则切换为跨VPC列表,即可绑定与集群VPC不同的ELB。绑定跨VPC的ELB时需打通集群VPC与ELB所属VPC网络,详情请参见集群跨VPC绑定ELB前提条件。 绑定命令下发成功后,返
确保MRS跟DWS网络互联互通,主要分以下几种场景: 场景一:MRS与DWS在同一个区域、同一个VPC下,默认网络互通。 场景二:MRS与DWS在同一个区域,不同VPC下,需要建立VPC对等连接,参见对接连接简介。 场景三:MRS与DWS不在一个区域,需要通过“云连接(CC)”打通网络,请参见对应服务的用户指南。
使用公网IP连接GaussDB(DWS)集群时如何设置白名单? 用户可以登录VPC管理控制台手动创建一个安全组,然后回到GaussDB(DWS)创建集群页面,单击“安全组”下拉列表旁边的按钮,刷新后在“安全组”下拉列表中选择新建的安全组。 为了使GaussDB(DWS)客户端可以
String 指定子网ID,用于集群网络配置。默认值与原集群相同。 security_group_id 否 String 指定安全组ID,用于集群网络配置。默认值与原集群相同。 vpc_id 否 String 指定虚拟私有云ID,用于集群网络配置。默认值与原集群相同。 availability_zone
错误原因:连接host失败。 解决办法:请检查网络连接。 GAUSS-53501: "Undefined action.""Connection timeout." SQLSTATE: 无 错误原因:网络连接失败或函数执行超时。 解决办法:请检查网络连接与磁盘剩余空间。 GAUSS-53502:
SQLSTATE: 22023 错误原因:非法的网络地址。 解决办法:建议检查输入的网络地址是否符合网络地址的格式。 GAUSS-02904: "could not format cidr value: %m" SQLSTATE: 22P03 错误原因:网络地址格式化CIDR格式失败。 解决办
Detail: Connection reset by peer 原因分析 在网络压力大的情况下会因为socket通信问题,出现断连现象。 解决办法 通过流控机制防止网络压力过大,需要设置以下GUC参数的值控制网络流量峰值。 comm_quota_size = 400,comm_usable_memory
执行业务抛出异常 Broken pipe, connection reset by peer 问题分析:网络故障,数据库连接超时。 处理方法:检查网络状态,修复网络故障,影响数据库连接超时的因素。例如,数据库参数session_timeout。 登录控制台单击指定集群名称。 在左
参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后,记录集群的内网IP。 为确保ECS与GaussDB(DWS)网络互通,GaussDB(DWS)数据仓库需要与ECS在同一个区域,同一个虚拟私有云和子网下。 表1 DWS规格 参数项 参数取值 区域 华北-北京4 可用区 可用区1 产品类型 标准数仓
改为其他的虚拟私有云,但是您可以编辑和修改当前的虚拟私有云。单击此处的虚拟私有云名称,进入虚拟私有云详情页面,您可以对虚拟私有进行设置。有关虚拟私有云的详细操作,请参见《虚拟私有云用户指南》中的修改虚拟私有云。 子网 子网信息,创建集群时所选。 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。
S底层的OS安全环境。 数据库与外部网络隔离 GaussDB(DWS)在单独的虚拟私有云VPC网络中,各VPC之间相互隔离。数据库作为一个组件,按照防火墙安全区域的划分是属于内部用户接口网络区域内,即受信类区域,不涉及其他区域的划分。客户端和对外服务节点CN之间的通信(命令行工具、GUI
数据库导出到外部,存放在HDFS文件系统上,从而提高整体导出性能。 准备环境 已创建DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服务”,单击“购买集群”,
GaussDB(DWS) 集群绑定弹性IP失败。原因:虚拟私有云异常,错误码${FailureReason}! 请联系客服或稍后重试。 说明: ${FailureReason}实际显示为虚拟私有云具体的错误码。 虚拟私有云错误码的详细信息,请参见《虚拟私有云API参考》中的错误码章节。 DWS.6006
GaussDB(DWS) 集群绑定弹性IP失败。原因:虚拟私有云异常,错误码${FailureReason}! 请联系客服或稍后重试。 说明: ${FailureReason}实际显示为虚拟私有云具体的错误码。 虚拟私有云错误码的详细信息,请参见《虚拟私有云API参考》中的错误码章节。 DWS.6006
为账号并开通华为云,且在使用GaussDB(DWS) 前检查账号状态,账号不能处于欠费或冻结状态。 已创建虚拟私有云和子网,参见创建虚拟私有云和子网。 已获取华为账号的AK和SK,参见访问密钥。 步骤一:准备DLI源端数据 创建DLI弹性资源池及队列。 登录华为云控制台,服务列表选择“大数据