检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据实际替换。 ACCESS_KEY和SECRET_ACCESS_KEY 是云账号体系访问OBS服务的密钥。请根据实际替换。 DLI_ACCESS_KEY和DLI_SECRET_ACCESS_KEY是云账号体系访问DLI服务的密钥。请根据实际替换。 TYPE表示创建的Server为DLI
本教程演示将Oracle业务相关的表数据迁移到GaussDB(DWS)的数据库的基本过程。 MySQL表数据实时同步到GaussDB(DWS)实践 本实践演示通过华为云数据复制服务DRS完成MySQL数据实时同步到GaussDB(DWS)的基本过程。 通过DLI Flink作业将Kafka数据实时写入DWS
准备工作 创建ECS 创建集群并下载工具包 使用GDS导入数据源 通过外表导入远端DWS数据 准备工作 已注册华为账号并开通华为云,具体请参见注册华为账号并开通华为云,账号不能处于欠费或冻结状态。 创建ECS 参见自定义购买弹性云服务器购买。购买后,参见登录Linux弹性云服务器进行登录。
2021年2月 序号 功能名称 功能描述 阶段 相关文档 1 二代规格页面优化。 用户在创建集群时,支持选择“云数仓”和“标准数仓”两种类型。 标准数仓:不支持用户自定义存储类型与存储容量。 云数仓:针对使用EVS盘的规格,支持用户在可选范围内自定义集群使用的存储类型与存储容量;话单计费上,
准备环境 已创建DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服务”,单击“购买集群”,选择“自定义购买”,填写软件配置参数,单击“下一步”。 表1 软件配置
区和同一个VPC子网下,ECS的操作系统选择与gsql客户端(本例以CentOS 7.6为例),并选择以密码方式登录。 创建集群 登录华为云管理控制台。 在“服务列表”中,选择“大数据 > 数据仓库服务”,单击右上角“创建数据仓库集群”。 参见表1进行参数配置。 表1 软件配置 参数名称
本实践预计时长:30分钟,基本流程如下: 创建集群。 使用gsql命令行客户端连接集群。 创建冷热表。 冷热数据切换。 查看冷热表数据分布。 创建集群 登录华为云管理控制台。 在“服务列表”中,选择“大数据 > 数据仓库服务”,单击右上角“创建数据仓库集群”。 参见表1进行参数配置。 表1 软件配置 参数名称
GaussDB(DWS)提供配套的迁移工具,可支持MySQL、Oracle和Teradata的SQL脚本迁移到GaussDB(DWS)。 高性能 云化分布式架构 GaussDB(DWS)采用全并行的MPP架构数据库,业务数据被分散存储在多个节点上,数据分析任务被推送到数据所在位置就近执行
参考。 准备环境 已创建3.0 DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 已获取华为云账户的AK和SK。 约束与限制 目前仅支持对接EXTERNAL SCHEMA对应的Hive端数据库的表进行SELECT、INSERT和INSERT
折扣套餐GaussDB(DWS)资源在到期前15、7、3、1天,系统将向用户推送到期预警消息。预警消息将通过邮件、短信和站内信的方式通知到华为云账号的创建者。 到期后影响 当您的折扣套餐GaussDB(DWS)资源到期未续费,将自动转为按需计费模式,集群不会被自动释放。 父主题: 计费模式
创建集群时默认不绑定弹性IP,即不启用公网访问集群。集群创建成功后,如果用户想通过公网访问集群,可以先为集群绑定弹性IP再创建公网域名。 默认情况下,只有华为云账号或拥有Security Administrator权限的用户才具备查询委托和创建委托的权限。账号中的IAM用户,默认没有查询委托和创建委
指定子网ID,用于集群网络配置。 security_group_id 是 String 指定安全组ID,用于集群网络配置。 vpc_id 是 String 指定虚拟私有云ID,用于集群网络配置。 availability_zone 否 String 配置集群可用区。集群可用区选择详情请参见地区和终端节点。 说明:
t存储表导入ORC存储表。 创建MRS数据源连接。 创建外部服务器。 创建外表。 通过外表导入DWS本地表。 创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服务”,单击“购买集群”,选择“自定义购买”,填写软件配置参数,单击“下一步”。 表1 软件配置
导入)。 相关概念 数据源文件:存储有数据的TEXT、CSV文件。 OBS:对象存储服务,是一种可存储文档、图片、影音视频等非结构化数据的云存储服务。从GaussDB(DWS)并行导出数据时,数据对象放置在OBS服务器上。 桶(Bucket):对OBS中的一个存储空间的形象称呼,是存储对象的容器。
gtm-free的任一方法开启。 设置非GTM-Free模式时,enable_gtm_free 必须设置为off。 GTM-Free模式仅在混合云与ESL场景设置后生效。 defer_xid_cleanup_time 参数说明:指定实时数仓中GTM-Lite模式下全局OldestXmi
Access权限 创建IAM用户凭证 配置JDBC连接使用IAM认证方式连接集群 授予IAM用户DWS Database Access权限 登录华为云管理控制台,单击“服务列表 > 管理与监管 > 统一身份认证服务”,打开IAM管理控制台。 修改您的IAM用户所属的用户组,给用户组设置策略,授予用户组DWS
ostgreSQL、云数据库 SQL Server等。 非关系型数据库包括:文档数据库服务DDS、云数据库GeminiDB等。 数据仓库:云数据仓库GaussDB(DWS)。 数据湖\湖仓一体:MapReduce服务MRS,数据湖探索DLI等。 数据治理中心:数据治理中心DataArts
) ; 为这些表加载样例数据。 OBS存储桶中提供了本次实践的样例数据。该存储桶向所有经过身份验证的云用户提供了读取权限。请按照下面的步骤加载这些样例数据: 为每个表创建对应的外表。 GaussDB(DWS)应用Postgres提供的外部数据封装器FDW(Foreign
dws-demo-ru-northwest-2 拉美-圣保罗一 dws-demo-sa-brazil-1 约束限制 本实践中两套DWS、ECS服务在同一个区域和虚拟私有云VPC下,确保网络互通。 准备工作 获取此账号的“AK/SK”。 已创建虚拟私有云和子网,参见创建虚拟私有云和子网。 步骤一:创建两套DWS集群
数据仓库的多维度查询分析的能力。 GaussDB(DWS) 已预先将样例数据上传到OBS桶的“retail-data”文件夹中,并给所有华为云用户赋予了该OBS桶的只读访问权限。 操作流程 本实践预计时长60分钟,基本流程如下: 准备工作 步骤一:导入零售业百货公司样例数据 步骤二:经营状况分析