检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
区和同一个VPC子网下,ECS的操作系统选择与gsql客户端(本例以CentOS 7.6为例),并选择以密码方式登录。 创建集群 登录华为云管理控制台。 在“服务列表”中,选择“大数据 > 数据仓库服务”,单击右上角“创建数据仓库集群”。 参见表1进行参数配置。 表1 软件配置 参数名称
通过,通过后可进行下一步变更操作,详情请参见查看巡检。 在“节点规格”中可以选择一个当前集群支持调整的规格。调整后的集群与原集群的虚拟私有云、子网和安全组相同。 在“调整到”中可以设置新集群的节点数量。 如果集群规格磁盘大小可选择,还可以选择磁盘存储类型,以及每节点可用磁盘存储容量。
参考。 准备环境 已创建3.0 DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 已获取华为云账户的AK和SK。 约束与限制 目前仅支持对接EXTERNAL SCHEMA对应的Hive端数据库的表进行SELECT、INSERT和INSERT
ssDB(DWS)集群时确认此集群的版本。 数据库连接 用户通过客户端连接GaussDB(DWS)集群的方式,实现数据库的连接。支持在华为云平台以及互联网环境上使用客户端进行连接。 数据库用户和角色 GaussDB(DWS)使用用户和角色来控制对数据库的访问。根据角色自身的设置不
创建集群时默认不绑定弹性IP,即不启用公网访问集群。集群创建成功后,如果用户想通过公网访问集群,可以先为集群绑定弹性IP再创建公网域名。 默认情况下,只有华为云账号或拥有Security Administrator权限的用户才具备查询委托和创建委托的权限。账号中的IAM用户,默认没有查询委托和创建委
指定子网ID,用于集群网络配置。 security_group_id 是 String 指定安全组ID,用于集群网络配置。 vpc_id 是 String 指定虚拟私有云ID,用于集群网络配置。 availability_zone 否 String 配置集群可用区。集群可用区选择详情请参见地区和终端节点。 说明:
址。 已配置GaussDB(DWS)集群所属的安全组,添加安全组的入规则允许用户的IP地址使用TCP访问端口。 具体步骤,请参见《虚拟私有云用户指南》中的添加安全组规则章节。 使用Data Studio连接到集群数据库 GaussDB(DWS)提供了基于Windows平台的Data
其他策略存在相同的规则配置。 bandwidth Integer 绑定状态: 0:未绑定 1:已绑定 vpc_id String 虚拟私有云ID。 请求示例 GET https://{Endpoint}/v2/4cf650fd46704908aa071b4df2453e1e/cl
同产品类型功能上的具体差异。 推荐使用包年/包月方式购买集群,包月时长到期之后,集群会自动释放。 连接集群 用户需要在与集群相同的虚拟私有云子网中使用客户端连接GaussDB(DWS)集群。 数据仓库服务只支持用户管理集群,不支持直接访问集群节点。用户或应用程序使用数据库对应的集群访问IP地址和端口,访问数据仓库。
当前多AZ集群只支持选择3个AZ。 tags 否 Array of Tags objects 标签。 vpc_id 是 String 指定虚拟私有云ID,用于集群网络配置。 subnet_id 是 String 指定子网ID,用于集群网络配置。 security_group_id 否 String
Flink作业将分布式消息服务Kafka的消费数据实时同步至DWS数据仓库,实现Kafka实时入库到DWS的过程。 本实践预计时长90分钟,实践用到的云服务包括虚拟私有云VPC及子网、弹性负载均衡ELB、弹性云服务器ECS、对象存储服务OBS、分布式消息服务Kafka、数据湖探索DLI和数据仓库服务DWS 调优表
源的官网价。 优惠金额 用户使用云服务享受折扣优惠如商务折扣、伙伴授予折扣以及促销优惠等减免的金额。基于官网价的优惠金额。 抹零金额 华为云产品定价精度为小数点后8位(单位:元),因此在计费过程中会产生小数点后8位的资源使用费用。而在实际扣费时,仅扣除到小数点后2位,小数点后第3
Access权限 创建IAM用户凭证 配置JDBC连接使用IAM认证方式连接集群 授予IAM用户DWS Database Access权限 登录华为云管理控制台,单击“服务列表 > 管理与监管 > 统一身份认证服务”,打开IAM管理控制台。 修改您的IAM用户所属的用户组,给用户组设置策略,授予用户组DWS
经典变更规格 运维账户 数据库用户管理 数据迁移 数据仓库服务 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于公有云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。DWS是基于华为融合数据仓库GaussDB产品的云原生服务,兼容标准ANSI
t存储表导入ORC存储表。 创建MRS数据源连接。 创建外部服务器。 创建外表。 通过外表导入DWS本地表。 创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服务”,单击“购买集群”,选择“自定义购买”,填写软件配置参数,单击“下一步”。 表1 软件配置
导入)。 相关概念 数据源文件:存储有数据的TEXT、CSV文件。 OBS:对象存储服务,是一种可存储文档、图片、影音视频等非结构化数据的云存储服务。从GaussDB(DWS)并行导出数据时,数据对象放置在OBS服务器上。 桶(Bucket):对OBS中的一个存储空间的形象称呼,是存储对象的容器。
gtm-free的任一方法开启。 设置非GTM-Free模式时,enable_gtm_free 必须设置为off。 GTM-Free模式仅在混合云与ESL场景设置后生效。 defer_xid_cleanup_time 参数说明:指定实时数仓中GTM-Lite模式下全局OldestXmi
) ; 为这些表加载样例数据。 OBS存储桶中提供了本次实践的样例数据。该存储桶向所有经过身份验证的云用户提供了读取权限。请按照下面的步骤加载这些样例数据: 为每个表创建对应的外表。 GaussDB(DWS)应用Postgres提供的外部数据封装器FDW(Foreign
请根据实际替换。 ACCESS_KEY和SECRET_ACCESS_KEY是云账号体系访问OBS服务的密钥。请根据实际替换。 DLI_ACCESS_KEY和DLI_SECRET_ACCESS_KEY是云账号体系访问DLI服务的密钥。请根据实际替换。 认证用的AK和SK硬编码到代码
dws-demo-ru-northwest-2 拉美-圣保罗一 dws-demo-sa-brazil-1 约束限制 本实践中两套DWS、ECS服务在同一个区域和虚拟私有云VPC下,确保网络互通。 准备工作 获取此账号的“AK/SK”。 已创建虚拟私有云和子网,参见创建虚拟私有云和子网。 步骤一:创建两套DWS集群