检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作步骤 登录华为云管理控制台。 选择“服务列表 >大数据 > MapReduce服务”,打开MRS管理控制台,创建MRS集群。
抹零金额 华为云产品定价精度为小数点后8位(单位:元),因此在计费过程中会产生小数点后8位的资源使用费用。而在实际扣费时,仅扣除到小数点后2位,小数点后第3位到第8位部分金额会被舍弃,这种舍弃部分的金额称作抹零金额。
计费方式:按需 版本选择:存算一体 集群节点:3 连接集群方式:SQL编辑器 存储容量:20G/节点 数据源:OBS桶的csv数据 集群版本:8.1.3.x 操作流程 表1 操作流程 操作步骤 说明 准备工作 注册华为账号并开通华为云,实名认证,为账户充值以及规划和创建VPC、子网资源
运维管理 29 集群级的数据库参数调整为变更操作,建议联系华为方进行变更风险评估 危险 集群级参数调整可能对客户业务造成影响,需做好评估。 30 单次新增、修改量占表总量10%以上场景,需在业务中增加显式ANALYZE操作。 警告 业务性能稳定性问题。
运维管理 29 集群级的数据库参数调整为变更操作,建议联系华为方进行变更风险评估 危险 集群级参数调整可能对客户业务造成影响,需做好评估。 30 单次新增、修改量占表总量10%以上场景,需在业务中增加显式ANALYZE操作。 警告 业务性能稳定性问题。
MySQL表数据实时同步到GaussDB(DWS)实践 本实践演示通过华为云数据复制服务DRS完成MySQL数据实时同步到GaussDB(DWS)的基本过程。
9.1.0.100版本(2024年8月12日) 【弹性架构】 架构升级:基于华为云对象存储服务OBS,推出存算分离架构3.0,计算、存储分层弹性,存储按需收费,降本增效;计算支持多VW(Virtual Warehouse,逻辑集群,以下简称VW)部署,业务隔离性更好,解决业务间的资源争抢问题
dbcompatibility 'mysql' template template0; create database test02 with encoding 'UTF-8' dbcompatibility 'mysql' template template0; 创建CDM集群 登录华为云控制台
创建MRS集群 登录华为云控制台,选择“大数据 > MapReduce服务”。 单击“购买集群”,选择“自定义购买”。 填写软件配置参数,单击“下一步”。
使用IAM用户凭证访问数据库的流程如下: 授予IAM用户DWS Database Access权限 创建IAM用户凭证 配置JDBC连接使用IAM认证方式连接集群 授予IAM用户DWS Database Access权限 登录华为云管理控制台,单击“服务列表 > 管理与监管 > 统一身份认证服务
创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服务”,单击“购买集群”,选择“自定义购买”,填写软件配置参数,单击“下一步”。
创建集群 登录华为云管理控制台。 在“服务列表”中,选择“大数据 > 数据仓库服务”,单击右上角“创建数据仓库集群”。 参见表1进行参数配置。 表1 软件配置 参数名称 配置方式 区域 选择“华北-北京四”。
创建集群 登录华为云管理控制台。 在“服务列表”中,选择“大数据 > 数据仓库服务”,单击右上角“创建数据仓库集群”。 参见表1进行参数配置。 表1 软件配置 参数名称 配置方式 区域 选择“华北-北京四”。
默认情况下,只有华为云账号或拥有Security Administrator权限的用户才具备查询委托和创建委托的权限。账号中的IAM用户,默认没有查询委托和创建委托的权限,此时需联系有权限的用户在当前页面完成对GaussDB(DWS)的委托授权。
图1 查看实例详情 GDS-Kafka支持的消息格式 表2 GDS-Kafka支持的消息格式 kafka.source.event.type 格式示例 格式说明 cdc.drs.avro 华为云DRS的内部格式,DRS生产至Kafka的avro格式,GDS-Kafka可直接对接进行解析入库
GaussDB(DWS) 已预先将样例数据上传到OBS桶的“retail-data”文件夹中,并给所有华为云用户赋予了该OBS桶的只读访问权限。
创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服务”,单击“购买集群”,选择“自定义购买”,填写软件配置参数,单击“下一步”。
数据库、数据仓库、数据湖、湖仓一体分别是什么? 如今随着互联网以及物联网等技术的不断发展,越来越多的数据被生产出来,数据管理工具也得到了飞速的发展,大数据相关概念如雨后春笋一般应运而生,如数据库、数据仓库、数据湖、湖仓一体等。这些概念分别指的是什么,又有着怎样的联系,同时,对应的产品与方案又是什么呢
DWS是基于华为融合数据仓库GaussDB产品的云原生服务,兼容标准ANSI SQL 99和SQL 2003,同时兼容PostgreSQL/Oracle数据库生态,为各行业PB级海量大数据分析提供有竞争力的解决方案。